KAT-HS – Kalibrierungsstudie

Project: "Kriteriumsorientiertes adaptives Testen in der Hochschule"

Collaboration

Born, Sebastian (ORCID: 0000-0001-5803-7963) / Naumann, Patrick / Fink, Aron (ORCID: 0000-0003-0624-1131)

Co-operating institutions

Goethe Universität Frankfurt, Arbeitsbereich Pädagogische Psychologie, Professur für Pädagogische Psychologie mit den Schwerpunkten Beratung, Evaluation und Diagnostik

Im Projekt KAT-HS wurden sich aus der Bologna-Reform ergebende Herausforderungen für das Prüfen im Hochschulbereich wissenschaftlich bearbeitet. Kriteriumsorientiertes computerisiertes adaptives Testen wurde als Methode zur Konstruktion, Administration und Auswertung von Hochschulklausuren konzeptuell entwickelt, beispielhaft im universitären Lehrbetrieb erprobt, anhand von Rückmeldungen verschiedener Stakeholdergruppen (Studierende, Dozentinnen und Dozenten, Studiendekaninnen und Studiendekane, IT-Verantwortlich) evaluiert und auf Hinderungsgründe einer erfolgreichen Implementation hin untersucht. Darüber hinaus wurden verschiedene unterstützende Elemente wie eine Fortbildungsveranstaltung, ein Online-Portal zum gegenseitigen Austausch von Nutzerinnen und Nutzern des Konzepts und eine frei verfügbare Testsoftware entwickelt und im Hinblick auf ihre Wirksamkeit geprüft. Zusammenfassend wurde durch das Projekt ein empirisch erprobtes, innovatives Verfahren zur computerbasierten Messung von Kompetenzen für eine breite Nutzung an deutschen Hochschulen zugänglich gemacht. (IQB/ Projekt)

Description of content / method

Das Ziel der Studie war die Kalibrierung eines Itempools zur Entwicklung einer computerbasierten, kriteriumsorientierten adaptiven Hochschulklausur zur Vorlesung ?Statistik? im Bachelor-Studiengang Erziehungswissenschaft an der FSU Jena. Primäres Ziel dabei war die Itemparameterschätzung (Rasch-Modell) in einem prototypischen Setting. Die Herausforderung hierbei war die geringe Stichprobengröße an der FSU Jena. Daher wurden in dieser Studie verschiedene Universitätsstandorte nach eingehender Testung für die gemeinsame Kalibrierung genutzt. Die Datenerhebung wurde an drei Standorten durchgeführt. Die Stichproben umfassten N=69 an der FSU Jena, N=27 an der RU Bochum und N=43 an der Universität Ulm. In Jena handelte es sich um eine computerbasierte Präsenzklausur, in Bochum und Ulm um eine Online-Probeklausur kurz vor dem eigentlichen Klausurtermin. Insgesamt kamen 45 Items, davon 30 Items pro Universitätsstandort mit einer Schnittmenge von 15 Items zum Einsatz. (IQB/ Projekt)

Research design

Querschnitt

Geographic coverage

Deutschland; Baden-Württemberg; Nordrhein-Westfalen; Thüringen

Population

Studierende

Sampling

Nicht-Wahrscheinlichkeitsauswahl → Willkürliche Auswahl

Part of the project

Title

KAT-HS – Kriteriumsorientiertes adaptives Testen in der Hochschule

Time-period

2017 – 2020

Leadership / Management

Frey, Andreas (ORCID: 0000-0001-5334-9538) / Spoden, Christian (ORCID: 0000-0002-2108-6152)

Funding

BMBF

Website

kat-hs.uni-frankfurt.de

KAT-HS: Kalibrierungsstudie

Resource type

Kompetenz- und Leistungsdaten

(Datensatz)

Collection mode

Messungen und Tests → Leistungs- und Kompetenztests → Computerbasierter Test

Sampling

Jena N=69, Bochum N=27, Ulm N=43, Insgesamt N=139

Notes on the data

Es handelt sich um die dichotom kodierten Ergebnisse der Kalibrierungstudie für eine kriteriumsorientierte adaptive Klausur zur Vorlesung Statistik im Bachelorstudiengang Erziehungswissenschaft aus dem Projekt KAT-HS. Erhebung an 3 Standorten: Präsenzklausur in Jena, Online-Übungsklausur in Bochum und Ulm

Availability

View Data

Archiving research data centre

FDZ am IQB

Publication date

23.10.2020

KAT-HS: Kalibrierungsstudie - Campus File

Resource type

Kompetenz- und Leistungsdaten

(Datensatz)

Collection mode

Messungen und Tests → Leistungs- und Kompetenztests → Computerbasierter Test

Sampling

Jena N=69, Bochum N=27, Ulm N=43, Insgesamt N=139

Notes on the data

Availability

View Data

Archiving research data centre

FDZ am IQB

Publication date

23.10.2020