Forschung

Die Item-Response-Theorie bildet einen theoretischen Rahmen für die Skalierung von latenten Personen-Eigenschaften. Der bekannteste Vertreter der Item-Response-Theorie ist das Rasch-Modell zur Leistungs- und Kompetenz-, aber auch zur Einstellungs-Messung. Die zentrale Eigenschaft des Rasch-Modells, die spezifische Objektivität der Messungen, erlaubt objektive und damit faire Vergleiche zwischen Personen, solange die dem Modell zugrundeliegenden Annahmen erfüllt sind - was allerdings in der Praxis nicht immer der Fall ist. Betrachtet man z.B. einen Test der zur Messung der mathematischen Kompetenz konstruiert wurde, so kann eine verbal formulierte Aufgabe für Schüler mit Deutsch als Fremdsprache schwieriger zu lösen sein als für Schüler mit Deutsch als Muttersprache, obwohl beide Schüler dieselbe mathematische Kompetenz haben. Eine solche Aufgabe, die sog. Differential Item Functioning aufweist, führt zu verzerrten Testergebnissen und erlaubt keinen fairen Vergleich zwischen den Schülern. Am Lehrstuhl für Psychologische Methodenlehre, Evaluation und Statistik werden deshalb statistische Verfahren entwickelt, mit denen man Aufgaben mit Differential Item Functioning sowie die betroffenen Personengruppen identifizieren kann. Diese Verfahren basieren auf modernen Ansätzen aus der parametrischen Statistik und dem maschinellen Lernen, wie Mischverteilungs-Modellen und rekursiver Partitionierung. Mithilfe dieser Verfahren können problematische Aufgaben bereits bei der Testkonstruktion ausgeschlossen oder mithilfe der Zusatzinformation über die betroffenen Personengruppen entsprechend modifiziert werden.

Auch bei der Skalierung von Präferenzen, die mithilfe von Paarvergleichs-Experimenten erhoben werden, können systematische Unterschiede zwischen verschiedenen Personengruppen auftreten, die für die psychologische Forschung, aber z.B. auch im Marketing, von grossem Interesse sein können. Auch in diesem Kontext sind sowohl die von den unterschiedlichen Präferenzen betroffenen Stimuli als auch die Beschreibung der verschiedenen Personengruppen anhand von psychologischen oder soziodemographischen Merkmalen oder latenten Klassen von Bedeutung. Eine besondere methodische Herausforderung stellt dabei die Einteilung von Personengruppen anhand von Bruchpunkten in stetigen Merkmalen dar, wie z.B. die Einteilung in "jüngere" und "ältere" Probanden anhand ihres Alters. Wird diese Einteilung jedoch an einem willkürlich festgelegten Wert vorgenommen, gehen wichtige Informationen aus den Daten verloren und mögliche Gruppenunterschiede zwischen anderen Altersgruppen werden womöglich übersehen. Deshalb bedarf es spezieller statistischer Verfahren, die es erlauben, einen optimalen Bruchpunkt für die Einteilung der Gruppen zu finden, ohne dadurch das statistische Risiko für einen Fehler 1. Art zu erhöhen.

In vielen Bereichen der Sozial- und Lebenswissenschaften sind die der Forschung zur Verfügung stehenden Datenmengen in den letzten Jahren rapide angestiegen, z.B. durch die automatische Erhebung von Nutzerdaten im Internet und die sinkenden Kosten für die Auswertung genetischer Informationen. Die resultierenden hochdimensionalen Datensätze stellen die klassischen statistischen Verfahren vor grosse Herausforderungen. Insbesondere sind herkömmliche parametrische Modelle nicht einsetzbar, wenn die Anzahl interessierender Variablen die Anzahl der zur Verfügung stehenden Beobachtungen übersteigt - was z.B. der Fall ist, wenn Informationen über die Expression von mehreren tausend Genen nur für einige hundert Personen vorliegen. Deshalb wurden in den letzten Jahren viele neue statistische Verfahren entwickelt, die von Ansätzen des maschinellen Lernens aus der Informatik inspiriert wurden und auch in grossen Datenmengen die versteckte Information, z.B. über die Ursachen von psychischen und physiologischen Erkrankungen, aufdecken können. Allerdings sind die statistischen Eigenschaften dieser Verfahren grösstenteils noch unbekannt, was in einigen Fällen zu schweren Fehlinterpretationen führen kann.

In unserer Arbeitsgruppe werden die Verfahren deshalb bezüglich ihrer statistischen Eigenschaften untersucht und so weiterentwickelt, dass sie eine zuverlässigere Anwendung und Interpretation der resultierenden Forschungsergebnisse erlauben. Dabei werden auch sehr grundsätzliche methodische Fragen berührt, wie z.B. die Messung der Wichtigkeit einer Einflussgrösse in Modellen mit mehreren potentiell korrelierten und interagierenden Variablen und die Auswirkung von zufällig und nicht-zufällig fehlenden Werten auf die Wichtigkeit einer Einflussgrösse. Einige der in internationalen Kooperationen entwickelten Verfahren finden bereits breite Verwendung in unterschiedlichen Gebieten der angewandten Forschung, wie z.B. in genetischen Assoziationsstudien zu den Ursachen von Erkrankungen bei Mensch und Tier sowie bei der Analyse von Waldschadensdaten.

DSI-Projekt
PREMIA - A Prediction Market with Integrated Algorithms

SNF-Projekt
Development of a Toolbox for Psychological Test Development

SNF-Projekt
Detecting Heterogeneity in Complex IRT Models for Measuring Latent Traits

BMBF-Projekt
Heterogenität in IRT-Modellen im BMBF-Schwerpunktfeld Kompetenzdiagnostik

DFG-Projekt
Methoden zur Berücksichtigung von Subjekt-Kovariablen in IRT-Modellen