Heterogenität in IRT-Modellen im BMBF-Schwerpunktfeld Kompetenzdiagnostik

Das Ziel dieses Forschungsprojektes war es, ein neues methodisches Instrumentarium zu entwickeln, das die statistische Überprüfung von Gruppen-Unterschieden in komplexen Studien zur Kompetenzdiagnostik im Rahmen der Item-Response-Thoerie (IRT) erlaubt. Die neuen Verfahren sollen in der frei zugänglichen statistischen Programmierumgebung R implementiert werden, um eine breite Nutzung der Methodik in der empirischen Bildungsforschung zu ermöglichen.

Die IRT umfasst eine Vielzahl von parametrischen Modellen zur Skalierung von latenten Personen-Eigenschaften wie das bekannte Rasch-Modell, das u.a. in der PISA-Studie zum Einsatz kommt. Das Rasch-Modell gewährleistet objektive Messungen und erlaubt dadurch auch faire Vergleiche zwischen Personen. Diese wichtige Eigenschaft des Rasch-Modells gilt allerdings nur, solange die dem Modell zugrunde liegenden Annahmen erfüllt sind. Andernfalls kann es z.B. beim Vergleich von unterschiedlichen Personen-Gruppen zu gravierenden Fehlschlüssen kommen.

Methodische Arbeitsziele dieses Projektes sind u.a.

• Anwendung und Vergleich aktueller statistischer Verfahren zur Diagnose von uniform und non-uniform Differential Item Functioning (DIF) und Differential Test Functioning (DTF)
• Entwicklung von statistischen Tests zur Signifikanzprüfung einzelner Item-Unterschiede unter Berücksichtigung des multiplen Testproblems
• Enge Kooperation mit angewandten Forschungsprojekten insbesondere im Bereich Kompetenzdiagnostik
• Implementierung aller Verfahren in der open-source Statistikumgebung R

Die im Projekt entwickelten Verfahren ermöglichen die flexible Überprüfung zentraler Annahmen und leisten damit einen wichtigen Beitrag zur Konstruktion objektiver und fairer Tests in der Kompetenzdiagnostik.

• Kopf, J., A. Zeileis, and C. Strobl (2014). Anchor selection strategies for DIF analysis: Review, assessment, and new approaches. Educational and Psychological Measurement. Accepted for publication.
• Kopf, J., T. Augustin, and C. Strobl (2013). The potential of model-based recursive partitioning in the social sciences. Revisiting Ockham's Razor. In J. McArdle and G. Ritschard (Eds.), Contemporary Issues in Exploratory Data Mining, Chapter 3, pp. 75-95. Routeledge.
• Kopf, J. (2013). Model-based recursive partitioning meets Item Response Theory. New statistical methods for the detection of Differential Item Functioning and appropriate anchor selection. Dissertation an der Fakultät für Mathematik, Informatik und Statistik. Verlag Dr. Hut.
• Strobl, C., J. Kopf, and A. Zeileis (2013). Rasch trees: A new method for detecting differential item functioning in the Rasch model. Psychometrika. Online First.
• Kopf, J., A. Zeileis, and C. Strobl (2013). Anchor methods for DIF detection: A comparison of the iterative forward, backward, constant and all-other anchor class. Technical Report 141.

Zu den übrigen Publikationen