Forschung

Unsere Forschung liegt im Schnittbereich von Psychometrie und Machine Learning.

Die Item-Response-Theorie bildet einen theoretischen Rahmen für die Skalierung von latenten Personen-Eigenschaften. Der bekannteste Vertreter der Item-Response-Theorie ist das Rasch-Modell zur Leistungs- und Kompetenz-, aber auch zur Einstellungs-Messung. Die zentrale Eigenschaft des Rasch-Modells, die spezifische Objektivität der Messungen, erlaubt objektive und damit faire Vergleiche zwischen Personen, solange die dem Modell zugrundeliegenden Annahmen erfüllt sind - was allerdings in der Praxis nicht immer der Fall ist. Betrachtet man z.B. einen Test der zur Messung der mathematischen Kompetenz konstruiert wurde, so kann eine verbal formulierte Aufgabe für Schüler:innen mit Deutsch als Fremdsprache schwieriger zu lösen sein als für Schüler:innen mit Deutsch als Muttersprache, obwohl beide Schüler:innen dieselbe mathematische Kompetenz haben. Eine solche Aufgabe, die sog. Differential Item Functioning aufweist, führt zu verzerrten Testergebnissen und erlaubt keinen fairen Vergleich zwischen den Schülern:innen. Am Lehrstuhl für Psychologische Methodenlehre, Evaluation und Statistik werden deshalb statistische Verfahren entwickelt, mit denen man Aufgaben mit Differential Item Functioning sowie die betroffenen Personengruppen identifizieren kann. Diese Verfahren basieren auf modernen Ansätzen aus der parametrischen Statistik und dem maschinellen Lernen, wie Mischverteilungs-Modellen und rekursiver Partitionierung. Mithilfe dieser Verfahren können problematische Aufgaben bereits bei der Testkonstruktion ausgeschlossen oder mithilfe der Zusatzinformation über die betroffenen Personengruppen entsprechend modifiziert werden.

In vielen Bereichen der Sozial- und Lebenswissenschaften sind die der Forschung zur Verfügung stehenden Datenmengen in den letzten Jahren rapide angestiegen, z.B. durch die automatische Erhebung von Nutzerdaten im Internet und die sinkenden Kosten für die Auswertung genetischer Informationen. Die resultierenden hochdimensionalen Datensätze stellen die klassischen statistischen Verfahren vor grosse Herausforderungen. Insbesondere sind herkömmliche parametrische Modelle nicht einsetzbar, wenn die Anzahl interessierender Variablen die Anzahl der zur Verfügung stehenden Beobachtungen übersteigt - was z.B. der Fall ist, wenn Informationen über die Expression von mehreren tausend Genen nur für einige hundert Personen vorliegen. Deshalb wurden in den letzten Jahren viele neue statistische Verfahren entwickelt, die von Ansätzen des maschinellen Lernens aus der Informatik inspiriert wurden und auch in grossen Datenmengen die versteckte Information, z.B. über die Ursachen von psychischen und physiologischen Erkrankungen, aufdecken können. Allerdings sind die statistischen Eigenschaften dieser Verfahren grösstenteils noch unbekannt, was in einigen Fällen zu schweren Fehlinterpretationen führen kann.

In unserer Arbeitsgruppe werden die Verfahren deshalb bezüglich ihrer statistischen Eigenschaften untersucht und so weiterentwickelt, dass sie eine zuverlässigere Anwendung und Interpretation der resultierenden Forschungsergebnisse erlauben. Dabei werden auch sehr grundsätzliche methodische Fragen berührt, wie z.B. die Messung der Wichtigkeit einer Einflussgrösse in Modellen mit mehreren potentiell korrelierten und interagierenden Variablen.

DSI-Projekt
PREMIA - A Prediction Market with Integrated Algorithms

SNF-Projekt
Development of a Toolbox for Psychological Test Development

SNF-Projekt
Detecting Heterogeneity in Complex IRT Models for Measuring Latent Traits

BMBF-Projekt
Heterogenität in IRT-Modellen im BMBF-Schwerpunktfeld Kompetenzdiagnostik

DFG-Projekt
Methoden zur Berücksichtigung von Subjekt-Kovariablen in IRT-Modellen