Wie gut, wie brauchbar und angemessen sind eigentlich die einzelnen Aufgaben oder Items in einem psychologischen Test?

Wenn ich in Fortbildungen zum Thema Förderdiagnostik psychologische Tests vorstelle, kann ich sicher sein, dass die ersten kritischen Anmerkungen sich auf die Qualität der Aufgaben oder Items beziehen: „Diese Aufgaben sind doch viel zu schwer für Dreijährige“ oder „Solche Aufgaben sind doch nicht kindgemäß, die Kinder, die ich kenne, würden da niemals mitmachen oder nur für kurze Zeit“. Auf solche und ähnliche Bemerkungen kann ich förmlich warten.

Diese Kritiker wissen nicht, dass jede einzelne Aufgabe eines psychologischen Tests im Verlauf der Testkonstruktion auf ihre Qualität hin überprüft wurde. In einem ersten Entwicklungsschritt stellen die Testkonstrukteure Testaufgaben oder Items zusammen, von denen sie annehmen, dass sie einerseits die zu prüfende Eigenschaft oder Fähigkeit erfassen und zum anderen der Zielpopulation angemessen sind. Die so entstandene Aufgabensammlung oder Testrohfassung wird an einer großen Zahl von Kindern, Jugendlichen oder Erwachsenen, der sogenannten Eichstichprobe durchgeführt. Die hierbei gewonnenen Ergebnisse und Erfahrungen bilden die Grundlage für den zweiten Konstruktionsschritt, die Itemanalyse und Itemselektion. Für jedes Item wird in diesem Zusammenhang der Schwierigkeitsindex, die Trennschärfe und die Homogenität berechnet.

 

Schwierigkeitsindex

Der Schwierigkeitsindex kennzeichnet den Schwierigkeitsgrad einer Aufgabe und ist letztendlich nichts anderes als die Lösungswahrscheinlichkeit dieses Items. Wird ein Item von vielen Probanden aus der Eichstichprobe richtig gelöst, ist es offensichtlich ein leichtes und wird es nur von wenigen richtig bearbeitet, ist es ein schweres. Aufgaben, die von niemandem richtig gelöst werden oder von allen, sind entweder zu leicht oder zu schwer und werden als erste aus dem Test entfernt. In einem psychologischen Test kann also niemals eine zu schwere Aufgabe vorkommen.

Mit Hilfe des Schwierigkeitsindexes lassen sich die Aufgaben in einem psychologischen Test mit zunehmender Schwierigkeit anordnen oder es können lauter gleich schwere ausgewählt werden, je nach dem, was der Testautor für seinen Test benötigt.

 

Trennschärfe

Die Trennschärfe liefert Informationen darüber, in wie weit die Menge der Löser über alle Items hinweg konstant bleibt oder ob jedes Item im Sinne des Gesamtergebnisses misst. Berechnet wird sie deshalb als Korrelation (systematischer statistischer Zusammenhang) zwischen dem Gesamtergebnis (Test-Score) und dem Ergebnis jeder Einzelaufgabe (Item-Score). Alle Probanden, die bei der Bearbeitung des Tests einen hohen Gesamtwert erzielen, müssen möglichst auch bei der Bearbeitung jeder Einzelaufgabe entsprechend erfolgreich sein. Alle Items, die dieser Forderung nicht in ausreichendem Maße genügen, werden aus dem Test entfernt.

Homogenität

Die Homogenität gibt den Grad an, in dem die Items eines Tests dieselbe Eigenschaft oder dasselbe Merkmal messen. Berechnet wird die Homogenität, indem man die Lösungen jeder Aufgabe mit den Lösungen aller anderen Aufgaben korreliert. Dabei wird erwartet, dass zwischen den Aufgaben, die zu einem Test oder zu einem Untertest gehören, ein hoher systematischer statistischer Zusammenhang besteht. Liegt eine solche ausreichend hohe Korrelation vor, nimmt das als Beleg dafür, dass alle Aufgaben dasselbe Merkmal, dieselbe Fähigkeit erfassen.

Nachdem die Items mit unzureichender Qualität aus dem Test herausgenommen wurden, liegt die Endfassung des psychologischen Tests vor, die in einem weiteren Entwicklungsschritt nun noch einmal als Ganzes einer Qualitätsprüfung unterzogen wird. Die Aufgaben sind also sicherlich am Ende nicht zu schwer für Dreijährige, wenn der Test für Dreijährige gedacht ist.

 

Dies ist der 5. Artikel aus der Reihe „Testdiagnostik“. Sie finden alle Artikel der Reihe unter diesem Schlagwort.

 

Weiterführende Literatur:
Breitenbach, Erwin (2005): Einführung in die pädagogisch-psychologische Diagnostik. In: Stephan Ellinger & Roland Stein (Hg.): Grundstudium Sonderpädagogik. Oberhausen: Athena Verlag, S. 114–141.

Fisseni, Hermann-Josef (2004): Lehrbuch der psychologischen Diagnostik. Mit Hinweisen zur Intervention. 3. Aufl. Göttingen: Hogrefe.