DiFA – Digital Formative Assessment
Time-period of study
2020 – 2024
Leadership / Management
Bengs, Daniel / Drachsler, Hendrik (ORCID: 0000-0001-8407-5314) / Biedermann, Daniel / Goldhammer, Frank (ORCID: 0000-0003-0289-9534) / Wolter, Ilka / Horz, Holger (ORCID: 0000-0002-5173-0252) / Artelt, Cordula (ORCID: 0000-0001-7790-2502) / Winter, Marc / Ciordas-Hertel, George / Onofrei, Monica / Mendzheritskaya, Julia / Eichmann, Beate / Hahnel, Carolin
Collaboration
Eichmann, Beate (ORCID: 0000-0001-7135-7945) / Winter, Marc (ORCID: 0000-0003-0350-1305) / Hahnel, Carolin (ORCID: 0000-0003-2394-3944) / Ciordas-Hertel, George-Petru (ORCID: 0000-0003-1589-7845) / Bengs, Daniel (ORCID: 0000-0002-6101-4241) / Wolter, Ilka (ORCID: 0000-0003-0421-2871) / Klose, Maria (ORCID: 0000-0002-1252-6937) / Biedermann, Daniel (ORCID: 0000-0001-9219-222X) / Onofrei, Monica / Mendzheritskaya, Julia (ORCID: 0000-0002-6096-4114)
Goethe-Universität Frankfurt am Main
- Befragung
- Leistungsmessung
- E-Learning
- Psychometrie
- Lehramtsstudent
- Studentin
- Learning Analytics
- Individuelle Lernförderung
- Student
- Feedback
- Lernverhalten
- Lernplattform
- Verhaltensindikator
- Logdatei
Im Rahmen des Projekts Digitales Formatives Assessment (DiFA) wurde ein Online-Kurs entwickelt, der ein tracedatenbasiertes, individualisiertes Feedback zum Lernverhalten im Kurs beinhaltete. Der Kurs richtete sich an Lehramtsstudierende. Er thematisierte den Einsatz digitaler Medien im Unterricht und bestand aus fünf Lerneinheiten, die im Lauf eines Semesters bearbeitet wurden. Lernangebote innerhalb der Lerneinheiten umfassten multimediale Materialien (Texte, Videos) und Aktivitäten (Erstellung von Concept-Maps, Forendiskussion, Tests zur Selbstkontrolle). Während der Kursbearbeitung wurden detaillierte Logs der Interaktionen der Lernenden mit dem Kurs und den enthaltenen Lernaktivitäten aufgezeichnet, so dass neben Produktdaten auch feingranulare Logdaten zur Verfügung stehen, durch die Aufschlüsse auf das Nutzungsverhalten und Bearbeitungsprozesse möglich sind. Das Projekt umfasste zwei empirische Phasen: Während der Pilotstudie gaben die Teilnehmer Selbstauskünfte zu selbstreguliertem Lernen und Lernengagement und absolvierten einen Test zur Bewertung der Leistung bei der Verarbeitung multipler Dokumente. Zu den genannten Variablen wurde kein Feedback gegeben. Die standardisierten Messungen wurden als Zustandsmessungen (selbstreguliertes Lernen und Lernengagement) nach jeder der fünf Lerneinheiten des Kurses bzw. als Merkmalsmessungen (multiple Dokumentenverarbeitung) am Ende des Kurses durchgeführt. Eine Reihe von standardisierten Instrumenten wurde eingesetzt, um die interessierenden Kovariaten und Outcomes zu erfassen (soziodemografische Variablen, Selbstwirksamkeit im Unterricht, Selbsteinschätzungen zur Technologiekompetenz, multimediales Multitasking, Selbstwirksamkeiten, Persönlichkeitsmerkmale, Domänenwissen). Ziel der Pilotphase war es, die Daten für die in der Evaluationsstudie verwendeten tracedatenbasierten Verhaltensindikatoren und auf ihnen aufbauende Feedbackmodelle zu gewinnen. Die Pilotstudie beinhaltete kein experimentelles Design und keine Messung der Kovariate und Outcomes zum Prä-Zeitpunkt. In der zweiten empirischen Phase (Evaluationsstudie) wurde das Feedbacksystem in einem experimentellen Studiendesign evaluiert. Das Design umfasste einen Faktor (Feedback) und zwei Stufen (Experimentalgruppe: personalisiertes Feedback, Kontrollgruppe: nicht-personalisiertes Feedback) bei einfacher Randomisierung. Das Feedback wurde mittels eines Learning Analytics Dashboards am Ende jeder Lerneinheit angeboten und umfasste textuelle und grafische Rückmeldungen zum Lernverhalten in der zurückliegenden Lerneinheit sowie Vorschläge zur Verhaltensadaptation in der nachfolgenden Lerneinheit und wurde flankiert von Möglichkeiten zur Bewertung der Nützlichkeit und Verständlichkeit des Feedbacks und zum Verfassen von Selbstreflexionstexten. Sowohl vor Beginn der Bearbeitung der Lerneinheit (Prä-Zeitpunkt) als auch nach Abschluss der fünf Lerneinheiten erfolgte eine Messung von Outcome-Variablen, so dass eine Veränderungsmessung erfolgen kann. (Projekt)
Funding
Research design
- Experimentelles Design
- Längsschnitt
Geographic coverage
Deutschland; Hessen; Bayern
Sampling
- Nicht-Wahrscheinlichkeitsauswahl → Bewusste Auswahl
- Nicht-Wahrscheinlichkeitsauswahl → Respondenten-gesteuerte Auswahl
Sampled universe
ZA8918: DiFA - Digitales Formatives Assessment (Evaluationsstudie)
Collection mode
2021 – 2022
Resource type
- Daten aus Fragebogeninstrumenten
- Kompetenz- und Leistungsdaten
(Datensatz; Datenkollektion; Event; Text; Modell; Bild)
Collection mode
- Beobachtung → Computer-basierte Beobachtung
- Messungen und Tests → Leistungs- und Kompetenztests → Computerbasierter Test
- Messungen und Tests → Psychologische Tests → Computerbasierter Test
- Eigenständig auszufüllender Fragebogen → CASI (Computerunterstützte Selbstbefragung)
Sampling
Notes on the data
vielseitiger Datenbestand aus Fragebogendaten, Leistungstests, Logdaten, von Studierenden erzeugte ConceptMaps, Freitextbeiträge, Forenbeiträge. Erhebung erfolgte in asynchroner Online-Lernumgebung (Moodle), teilweise mit Hilfe von selbst entwickelten Moodle-Erweiterungen (Logging, ConceptMaps, Feedback-Dashboard, Material-Ratings)
Availability
Archiving research data centre
Publication date
31.01.2025
Availability
Zugangsklasse A - Daten und Dokumente sind für die akademische Forschung und Lehre freigegeben.
