Daten und Studien zu „Schlagwörter: Item-Response-Theorie” (4)

1

Heterogenität in IRT-Modellen Das Ziel dieses Forschungsprojektes war es, ein neues methodisches Instrumentarium zu entwickeln, das die statistische Überprüfung von Gruppenunterschieden in komplexen Studien zur Kompetenzdiagnostik erlaubt. Im Fokus des Forschungsvorhabens stand das Rasch-Modell, ein parametrisches Modell zur Skalierung latenter Personeneigenschaften. Dessen zentrale Annahme ist die Invarianz. Diese Annahme ist verletzt, wenn Aufgabenunterschiede bestehen, z. B. wenn eine Aufgabe bei gleicher Fähigkeit für ei ... Das Ziel dieses Forschungsprojektes war es, ein neues methodisches Instrumentarium zu entwickeln, das die statistische Überprüfung von Gruppenunterschieden in komplexen Studien zur Kompetenzdiagnostik erlaubt. Im Fokus des Forschungsvorhabens stand das Rasch-Modell, ein parametrisches Modell zur Skalierung latenter Personeneigenschaften. Dessen zentrale Annahme ist die Invarianz. Diese Annahme ist verletzt, wenn Aufgabenunterschiede bestehen, z. B. wenn eine Aufgabe bei gleicher Fähigkeit für eine Gruppe einfacher zu lösen ist. Im Projekt sollten statistische Tests zur Signifikanzprüfung einzelner Aufgabenunterschiede weiterentwickelt und Erweiterungen aktueller Verfahren umgesetzt werden. Die neuen Verfahren sollten in der frei zugänglichen statistischen Programmierumgebung R implementiert werden, um eine breite Nutzung der Methodik in der empirischen Bildungsforschung zu ermöglichen. Um Personengruppen hinsichtlich einzelner Aufgabenunterschiede zu vergleichen, musste mittels einer Restriktion eine gemeinsame Skala der Gruppen konstruiert werden. Die Wahl dieser Restriktion wurde durch Ankerverfahren bestimmt. Mithilfe einer umfangreichen Simulationsstudie wurden verschiedene etablierte und selbst entwickelte, iterative Ankerverfahren in der Software R implementiert und in verschiedenen Situationen gegenübergestellt. Die Ergebnisse zeigen, dass das neue iterative Ankerverfahren mit einer Forward-Ankerselektion die besten Ergebnisse liefert, da es weniger Aufgaben fälschlicherweise Differential Item Functioning (DIF) unterstellt und gleichzeitig tatsächliche Aufgabenunterschiede auch häufiger erkennt. Für die praktische Forschung müssen damit weniger Ressourcen für die Konstruktion eines Rasch-konformen Pools an Aufgaben verwendet werden. (DIPF/Projektträger)

2

Entwicklung und Erprobung von technologieorientierten Messinstrumenten zur Feststellung der beruflichen Handlungskompetenz in der Pflege älterer Menschen (TEMA) Das Verbundprojekt hatte die Entwicklung und Erprobung eines technologieorientierten Messinstruments zur Feststellung von beruflicher Handlungskompetenz in der Pflege älterer Menschen zum Gegenstand, das praktische Anwendbarkeit und wissenschaftliche Solidität miteinander verbindet. Es ging darum, ein empirisch abgesichertes Kompetenzmodell und Testverfahren zu entwickeln, die eine valide und international anschlussfähige Messung beruflicher Kompetenzen mit Hilfe von neuen technologiebasierten M ... Das Verbundprojekt hatte die Entwicklung und Erprobung eines technologieorientierten Messinstruments zur Feststellung von beruflicher Handlungskompetenz in der Pflege älterer Menschen zum Gegenstand, das praktische Anwendbarkeit und wissenschaftliche Solidität miteinander verbindet. Es ging darum, ein empirisch abgesichertes Kompetenzmodell und Testverfahren zu entwickeln, die eine valide und international anschlussfähige Messung beruflicher Kompetenzen mit Hilfe von neuen technologiebasierten Messverfahren unter Anwendung der probabilistischen Testtheorie ermöglichen. Im Projekt wurden mehrere theoretische Akzente gesetzt: (1) Die theoriebasierte Kompetenzmodellierung und Aufgabenmodellierung zur Abbildung berufsrelevanter Handlungskompetenz zielte auf die heuristische Modellierung von Kompetenzen in der Pflege älterer Menschen auf der Basis einschlägiger theoretischer Modelle sowie der Ergebnisse von Expertengesprächen. (2) Die curriculare und ökologische Validierung des Kompetenzmodells und der Testverfahren diente der Spezifizierung des Kompetenzmodells und der Ableitung berufstypischer Handlungssituationen. (3) Die psychometrische Analyse der Testverfahren und IRT-basierte Kompetenzmodellierung untersuchte Fragen der empirischen Abbildbarkeit des Kompetenzstrukturmodells und der empirischen Bezüge zwischen den Testaufgaben und den zu erfassenden Kompetenzdimensionen, insbesondere bezüglich emotionaler Teilfähigkeiten. (4) Durch die Organisation einer Wissenschaft-Praxis-Kooperation wurde eine partizipative Modellentwicklung durch aktive Mitwirkung von Vertretern aus der Pflegebranche verfolgt. (DIPF/Projektträger)

3

KAT-HS - Auswirkungen einer computerisierten teiladaptiven Klausur auf das emotionale Erleben von Klausuren seitens Studierender Im Projekt KAT-HS wurden sich aus der Bologna-Reform ergebende Herausforderungen für das Prüfen im Hochschulbereich wissenschaftlich bearbeitet. Kriteriumsorientiertes computerisiertes adaptives Testen wurde als Methode zur Konstruktion, Administration und Auswertung von Hochschulklausuren konzeptuell entwickelt, beispielhaft im universitären Lehrbetrieb erprobt, anhand von Rückmeldungen verschiedener Stakeholdergruppen (Studierende, Dozentinnen und Dozenten, Studiendekaninnen und Studiendekane, ... Im Projekt KAT-HS wurden sich aus der Bologna-Reform ergebende Herausforderungen für das Prüfen im Hochschulbereich wissenschaftlich bearbeitet. Kriteriumsorientiertes computerisiertes adaptives Testen wurde als Methode zur Konstruktion, Administration und Auswertung von Hochschulklausuren konzeptuell entwickelt, beispielhaft im universitären Lehrbetrieb erprobt, anhand von Rückmeldungen verschiedener Stakeholdergruppen (Studierende, Dozentinnen und Dozenten, Studiendekaninnen und Studiendekane, IT-Verantwortlich) evaluiert und auf Hinderungsgründe einer erfolgreichen Implementation hin untersucht. Darüber hinaus wurden verschiedene unterstützende Elemente wie eine Fortbildungsveranstaltung, ein Online-Portal zum gegenseitigen Austausch von Nutzerinnen und Nutzern des Konzepts und eine frei verfügbare Testsoftware entwickelt und im Hinblick auf ihre Wirksamkeit geprüft. Zusammenfassend wurde durch das Projekt ein empirisch erprobtes, innovatives Verfahren zur computerbasierten Messung von Kompetenzen für eine breite Nutzung an deutschen Hochschulen zugänglich gemacht. (IQB/ Projekt)

4

KAT-HS - Kalibrierungsstudie Im Projekt KAT-HS wurden sich aus der Bologna-Reform ergebende Herausforderungen für das Prüfen im Hochschulbereich wissenschaftlich bearbeitet. Kriteriumsorientiertes computerisiertes adaptives Testen wurde als Methode zur Konstruktion, Administration und Auswertung von Hochschulklausuren konzeptuell entwickelt, beispielhaft im universitären Lehrbetrieb erprobt, anhand von Rückmeldungen verschiedener Stakeholdergruppen (Studierende, Dozentinnen und Dozenten, Studiendekaninnen und Studiendekane, ... Im Projekt KAT-HS wurden sich aus der Bologna-Reform ergebende Herausforderungen für das Prüfen im Hochschulbereich wissenschaftlich bearbeitet. Kriteriumsorientiertes computerisiertes adaptives Testen wurde als Methode zur Konstruktion, Administration und Auswertung von Hochschulklausuren konzeptuell entwickelt, beispielhaft im universitären Lehrbetrieb erprobt, anhand von Rückmeldungen verschiedener Stakeholdergruppen (Studierende, Dozentinnen und Dozenten, Studiendekaninnen und Studiendekane, IT-Verantwortlich) evaluiert und auf Hinderungsgründe einer erfolgreichen Implementation hin untersucht. Darüber hinaus wurden verschiedene unterstützende Elemente wie eine Fortbildungsveranstaltung, ein Online-Portal zum gegenseitigen Austausch von Nutzerinnen und Nutzern des Konzepts und eine frei verfügbare Testsoftware entwickelt und im Hinblick auf ihre Wirksamkeit geprüft. Zusammenfassend wurde durch das Projekt ein empirisch erprobtes, innovatives Verfahren zur computerbasierten Messung von Kompetenzen für eine breite Nutzung an deutschen Hochschulen zugänglich gemacht. (IQB/ Projekt)