Daten und Studien zu „Schlagwörter: Statistische Methode” (2)

Heterogenität in IRT-Modellen

Das Ziel dieses Forschungsprojektes war es, ein neues methodisches Instrumentarium zu entwickeln, das die statistische Überprüfung von Gruppenunterschieden in komplexen Studien zur Kompetenzdiagnostik erlaubt. Im Fokus des Forschungsvorhabens stand das Rasch-Modell, ein parametrisches Modell zur Skalierung latenter Personeneigenschaften. Dessen zentrale Annahme ist die Invarianz. Diese Annahme ist verletzt, wenn Aufgabenunterschiede bestehen, z. B. wenn eine Aufgabe bei gleicher Fähigkeit für ei ... Das Ziel dieses Forschungsprojektes war es, ein neues methodisches Instrumentarium zu entwickeln, das die statistische Überprüfung von Gruppenunterschieden in komplexen Studien zur Kompetenzdiagnostik erlaubt. Im Fokus des Forschungsvorhabens stand das Rasch-Modell, ein parametrisches Modell zur Skalierung latenter Personeneigenschaften. Dessen zentrale Annahme ist die Invarianz. Diese Annahme ist verletzt, wenn Aufgabenunterschiede bestehen, z. B. wenn eine Aufgabe bei gleicher Fähigkeit für eine Gruppe einfacher zu lösen ist. Im Projekt sollten statistische Tests zur Signifikanzprüfung einzelner Aufgabenunterschiede weiterentwickelt und Erweiterungen aktueller Verfahren umgesetzt werden. Die neuen Verfahren sollten in der frei zugänglichen statistischen Programmierumgebung R implementiert werden, um eine breite Nutzung der Methodik in der empirischen Bildungsforschung zu ermöglichen. Um Personengruppen hinsichtlich einzelner Aufgabenunterschiede zu vergleichen, musste mittels einer Restriktion eine gemeinsame Skala der Gruppen konstruiert werden. Die Wahl dieser Restriktion wurde durch Ankerverfahren bestimmt. Mithilfe einer umfangreichen Simulationsstudie wurden verschiedene etablierte und selbst entwickelte, iterative Ankerverfahren in der Software R implementiert und in verschiedenen Situationen gegenübergestellt. Die Ergebnisse zeigen, dass das neue iterative Ankerverfahren mit einer Forward-Ankerselektion die besten Ergebnisse liefert, da es weniger Aufgaben fälschlicherweise Differential Item Functioning (DIF) unterstellt und gleichzeitig tatsächliche Aufgabenunterschiede auch häufiger erkennt. Für die praktische Forschung müssen damit weniger Ressourcen für die Konstruktion eines Rasch-konformen Pools an Aufgaben verwendet werden. (DIPF/Projektträger)

Kompost - Ermittlung von Indikatoren für die Kompetenzeinschätzung von Schülertexten mittels computerlinguistischer Methoden und dialogische Entwicklung eines Prototyps für die computergestützte Analyse von Aufsätzen

Ziel der Studie war die unter Einsatz computerlinguistischer Verfahren erfolgende Ermittlung sowie die Untersuchung von belastbaren, differenzierten Indikatoren für die Qualität von Schülertexten für die deutsche Sprache. Diese Indikatoren, die auf eine besonders gute oder schlechte sprachliche Kompetenz hinweisen, sollten Eingang in eine Analysesoftware finden, die helfen soll, förderbedürftige Schüler bereits sehr früh zu identifizieren und sie angemessen zu fördern. [Als Datenbasis standen fü ... Ziel der Studie war die unter Einsatz computerlinguistischer Verfahren erfolgende Ermittlung sowie die Untersuchung von belastbaren, differenzierten Indikatoren für die Qualität von Schülertexten für die deutsche Sprache. Diese Indikatoren, die auf eine besonders gute oder schlechte sprachliche Kompetenz hinweisen, sollten Eingang in eine Analysesoftware finden, die helfen soll, förderbedürftige Schüler bereits sehr früh zu identifizieren und sie angemessen zu fördern. [Als Datenbasis standen für dieses Projekt viele Tausend Aufsätze, Testergebnisse und Hintergrundinformationen von Schülern aus der Hamburger Längsschnittuntersuchung "Kompetenzen und Einstellungen von Schülerinnen und Schülern" (KESS) zur Verfügung. Zum Zweck der Ableitung oder Weiterentwicklung von Kompetenzmodellen] wurden die zu erfassenden Merkmale operationalisiert, automatisch aus den Aufsätzen quantifiziert und schließlich unter Hinzuziehung von manuellen Bewertungen und Testergebnissen mittels statistischer Verfahren wie Korrelationsanalyse, Regressionsanalyse und Faktorenanalyse untersucht. Die in KESS erhobenen Aufsätze wurden in ein einheitliches Format gebracht und zu einem Textkorpus zusammengestellt, das derzeit 1133, 125, 1705 bzw. 1196 Aufsätze in den Klassen 4, 7, 8 bzw.10 umfasst. Zur späteren Auswertung wurden verschiedene Annotationskategorien erarbeitet; für einen Teil des Korpus wurden Zielhypothesen und Fehlerspezifikationen manuell annotiert sowie eine automatische Annotation von Wortarten mittels Treetagger vorgenommen. Die Analyse ausgewählter linguistischer Oberflächenmerkmale bzw. relativ leicht zu erfassender linguistischer Kategorien zeigt, dass es Indikatoren für geringe und hohe sprachliche Kompetenz gibt. Aussagekräftig sind zum Beispiel die Verwendung von Affixen und Demonstrativa, der Anteil von Drei-Buchstaben-Wörtern, die durchschnittliche Wortlänge, die Wortanzahl und Wortfrequenzverteilungen. (DIPF/Projektträger)