DE EN
VerbundFDB Logo

KAT-HS - Kalibrierungsstudie

Projekt: "Kriteriumsorientiertes adaptives Testen in der Hochschule"

Mitarbeit Born, Sebastian (ORCID: 0000-0001-5803-7963) / Naumann, Patrick / Fink, Aron (ORCID: 0000-0003-0624-1131)
Beteiligte Institution
Kompetenzmessung Kompetenz Leistungsüberprüfung Adaptives Testen Hochschulbildung Mathematische Kompetenz Kontrollüberzeugung Motivation Klausur Technologiebasiertes Testen Bewertung Evaluation Softwareentwicklung Umsetzung Student Item-Response-Theorie Deutschland Computerbasiertes Testen Emotionaler Zustand Implementation Kontroll-Wert-Theorie
Im Projekt KAT-HS wurden sich aus der Bologna-Reform ergebende Herausforderungen für das Prüfen im Hochschulbereich wissenschaftlich bearbeitet. Kriteriumsorientiertes computerisiertes adaptives Testen wurde als Methode zur Konstruktion, Administration und Auswertung von Hochschulklausuren konzeptuell entwickelt, beispielhaft im universitären Lehrbetrieb erprobt, anhand von Rückmeldungen verschiedener Stakeholdergruppen (Studierende, Dozentinnen und Dozenten, Studiendekaninnen und Studiendekane, ... Im Projekt KAT-HS wurden sich aus der Bologna-Reform ergebende Herausforderungen für das Prüfen im Hochschulbereich wissenschaftlich bearbeitet. Kriteriumsorientiertes computerisiertes adaptives Testen wurde als Methode zur Konstruktion, Administration und Auswertung von Hochschulklausuren konzeptuell entwickelt, beispielhaft im universitären Lehrbetrieb erprobt, anhand von Rückmeldungen verschiedener Stakeholdergruppen (Studierende, Dozentinnen und Dozenten, Studiendekaninnen und Studiendekane, IT-Verantwortlich) evaluiert und auf Hinderungsgründe einer erfolgreichen Implementation hin untersucht. Darüber hinaus wurden verschiedene unterstützende Elemente wie eine Fortbildungsveranstaltung, ein Online-Portal zum gegenseitigen Austausch von Nutzerinnen und Nutzern des Konzepts und eine frei verfügbare Testsoftware entwickelt und im Hinblick auf ihre Wirksamkeit geprüft. Zusammenfassend wurde durch das Projekt ein empirisch erprobtes, innovatives Verfahren zur computerbasierten Messung von Kompetenzen für eine breite Nutzung an deutschen Hochschulen zugänglich gemacht. (IQB/ Projekt)
Inhaltlich-methodische Beschreibung
Das Ziel der Studie war die Kalibrierung eines Itempools zur Entwicklung einer computerbasierten, kriteriumsorientierten adaptiven Hochschulklausur zur Vorlesung ?Statistik? im Bachelor-Studiengang Erziehungswissenschaft an der FSU Jena. Primäres Ziel dabei war die Itemparameterschätzung (Rasch-Modell) in einem prototypischen Setting. Die Herausfor ... Das Ziel der Studie war die Kalibrierung eines Itempools zur Entwicklung einer computerbasierten, kriteriumsorientierten adaptiven Hochschulklausur zur Vorlesung ?Statistik? im Bachelor-Studiengang Erziehungswissenschaft an der FSU Jena. Primäres Ziel dabei war die Itemparameterschätzung (Rasch-Modell) in einem prototypischen Setting. Die Herausforderung hierbei war die geringe Stichprobengröße an der FSU Jena. Daher wurden in dieser Studie verschiedene Universitätsstandorte nach eingehender Testung für die gemeinsame Kalibrierung genutzt. Die Datenerhebung wurde an drei Standorten durchgeführt. Die Stichproben umfassten N=69 an der FSU Jena, N=27 an der RU Bochum und N=43 an der Universität Ulm. In Jena handelte es sich um eine computerbasierte Präsenzklausur, in Bochum und Ulm um eine Online-Probeklausur kurz vor dem eigentlichen Klausurtermin. Insgesamt kamen 45 Items, davon 30 Items pro Universitätsstandort mit einer Schnittmenge von 15 Items zum Einsatz. (IQB/ Projekt)
Forschungsdesign
  • Querschnitt
Untersuchungsgebiet (geogr.)
  • Deutschland; Baden-Württemberg; Nordrhein-Westfalen; Thüringen
Erhebungseinheit Studierende
Auswahlverfahren
  • Nicht-Wahrscheinlichkeitsauswahl Willkürliche Auswahl

Teil des Projekts / der Reihe

Projekttitel
  • KAT-HS - Kriteriumsorientiertes adaptives Testen in der Hochschule
Projektlaufzeit
  • 2017 - 2020
Leitung Frey, Andreas (ORCID: 0000-0001-5334-9538) / Spoden, Christian (ORCID: 0000-0002-2108-6152)
Fördereinrichtung BMBF
Website

KAT-HS: Kalibrierungsstudie

Art der Daten
  • Kompetenz- und Leistungsdaten
(Datensatz)
Erhebungsverfahren
  • Messungen und Tests Leistungs- und Kompetenztests Computerbasierter Test
Stichprobe Jena N=69, Bochum N=27, Ulm N=43, Insgesamt N=139
Anmerkungen zu den Daten Es handelt sich um die dichotom kodierten Ergebnisse der Kalibrierungstudie für eine kriteriumsorientierte adaptive Klausur zur Vorlesung Statistik im Bachelorstudiengang Erziehungswissenschaft aus dem Projekt KAT-HS. Erhebung an 3 Standorten: Präsenzklausur in Jena, Online-Übungsklausur in Bochum und Ulm
Verfügbarkeit Zu den Daten
Archivierende Einrichtung
Veröffentlichungsdatum 23.10.2020

KAT-HS: Kalibrierungsstudie - Campus File

Art der Daten
  • Kompetenz- und Leistungsdaten
(Datensatz)
Erhebungsverfahren
  • Messungen und Tests Leistungs- und Kompetenztests Computerbasierter Test
Stichprobe Jena N=69, Bochum N=27, Ulm N=43, Insgesamt N=139
Anmerkungen zu den Daten Es handelt sich um die dichotom kodierten Ergebnisse der Kalibrierungstudie für eine kriteriumsorientierte adaptive Klausur zur Vorlesung Statistik im Bachelorstudiengang Erziehungswissenschaft aus dem Projekt KAT-HS. Erhebung an 3 Standorten: Präsenzklausur in Jena, Online-Übungsklausur in Bochum und Ulm
Verfügbarkeit Zu den Daten
Archivierende Einrichtung
Veröffentlichungsdatum 23.10.2020

Publikationen

  • Kaspar, K. & Becker-Mrotzek, M. & Hofhues, S. & König, J. & Schmeinck, D. (2020). Bildung, Schule, Digitalisierung. Waxmann.
    Literaturnachweis auf fachportal-paedagogik.de
  • Frey, A. & Spoden, C. & Born, S. (2020). Construction of psychometrically sound written university exams. Psychological test and assessment modeling, 65(4), 472-486.
    Literaturnachweis auf fachportal-paedagogik.de
  • Spoden, C. & Frey, A. & Fink, A. & Naumann, P. (2020). Kompetenzorientierte elektronische Hoschschulklausuren im Studium des Lehramts. In Kaspar, K. & Becker-Mrotzek, M. & Hofhues, S. & König, J. & Schmeinck, D. (Eds.), Bildung, Schule, Digitalisierung (pp. 184-189). Waxmann.
    Literaturnachweis auf fachportal-paedagogik.de
  • Born, S. & Fink, A. & Spoden, C. & Frey, A. (2019). Evaluating different equating setups in the continuous item oool calibration for computerized adaptive testing. Frontiers in psychology, 10(Art. 1277), 14 S..
    Literaturnachweis auf fachportal-paedagogik.de
  • Fink, A. & Born, S. & Spoden, C. & Frey, A. (2018). A continuous calibration strategy for computerized adaptive testing. Psychological test and assessment modeling, 60(3), 324-346.
    Literaturnachweis auf fachportal-paedagogik.de
  • Spoden, C. & Buchwald, F. (2018). Diagnostische Tests mit R und~knitr. Erstellung, Auswertung und Vorbereitung der Rückmeldung. Diagnostica, 64(1), 49-57.
    Literaturnachweis auf fachportal-paedagogik.de
  • Spoden, C. & Frey, A. & Bernhardt, R. (2018). Implementing Three CATs Within Eighteen Months. Journal of computerized adaptive testing, 6(3), 38-55.
    Literaturnachweis auf fachportal-paedagogik.de
Literaturrecherche im Fachportal Pädagogik
Ein Angebot am
DIPF Logo
Eingebunden in
KonsortSWD Logo
DIPF | Leibniz-Institut für Bildungsforschung und Bildungsinformation
Feedback