Research data and study information about „Keywords: Testvalidität” (17)

1

Dynamisches Problemlösen als fachübergreifende Kompetenz Im Rahmen des Vorhabens wurden Indikatoren für die zentralen Fertigkeiten der Informationsreduktion und Prioritätensetzung entwickelt und über latente Strukturgleichungsmodelle empirisch validiert. Das Vorhaben bettete sich in einen von Greiff und Funke zur Beurteilung von Problemlösekompetenz entwickelten Test (MicroDYN), bei dem multiple Problemstellungen, jeweils formalisiert als lineare Gleichungssysteme, durch gezielte Inputs erst exploriert und adäquat repräsentiert werden müssen (Wissense ... Im Rahmen des Vorhabens wurden Indikatoren für die zentralen Fertigkeiten der Informationsreduktion und Prioritätensetzung entwickelt und über latente Strukturgleichungsmodelle empirisch validiert. Das Vorhaben bettete sich in einen von Greiff und Funke zur Beurteilung von Problemlösekompetenz entwickelten Test (MicroDYN), bei dem multiple Problemstellungen, jeweils formalisiert als lineare Gleichungssysteme, durch gezielte Inputs erst exploriert und adäquat repräsentiert werden müssen (Wissenserwerb) und dann in einen gewünschten Zielzustand überführt werden sollen (Wissensanwendung). Das Promotionsprojekt soll einen Beitrag leisten, um weitere Aspekte von Problemlösekompetenz im Rahmen von MicroDYN beurteilen zu können. Das Arbeitsprogramm des Forschungsvorhabens umfasste, nach der Entwicklung von Indikatoren ein Leistungsdiagnostikum auszuweisen, (1) dessen Facetten sich empirisch voneinander trennen lassen, (2) das konvergent valide zu anderen Maßen von Problemlösekompetenz ist und einen empirischen Mehrwert gegenüber Maßen allgemeiner Intelligenz bietet. Dabei galt es, insbesondere auch (3) die Testfairness bezüglich des Geschlechts zu gewährleisten und zu untersuchen. Der MicroDYN-Test konnte erweitert werden um Indikatoren für (a) Informationsreduktion: In der Phase des Wissenserwerbs ist noch vor Angaben zur kausalen Struktur die zentrale Inputvariable zu identifizieren, und (b) Prioritätensetzung: In einer Phase der Wissensanwendung ist unter verschiedenen widersprüchlichen Zielen der beste Kompromiss zu wählen. Der erweiterte Test wurde Studierenden vorgelegt, um seine psychometrische Qualität zu beurteilen. Der Indikator Informationsreduktion erwies sich als der beste Prädiktor für Planungsfähigkeit. Außerdem wurden die Konstruktvalidität und der empirische Mehrwert des erweiterten MicroDYN-Tests gegenüber anderen Leistungstests an einer Stichprobe von 300 Studenten untersucht. (DIPF/Projektträger)

2

Prozessbezogene Diagnostik des Lese- und Hörverstehens im Grundschulalter Ziel des Verbundprojektes war die Entwicklung und Erprobung eines computergestützten Messinstruments zur prozessorientierten Erfassung interindividueller Leistungsunterschiede in den differenzierbaren kognitiven Teilprozessen des Leseverstehens und Hörverstehens von Grundschulkindern. (...) Anhand einer Querschnittsuntersuchung wurden die neu entwickelten Tests auf ihre Konstruktvalidität und Kriteriumsvalidität hin überprüft und optimiert. Die Querschnittsdaten bildeten ferner die Grundlage für ... Ziel des Verbundprojektes war die Entwicklung und Erprobung eines computergestützten Messinstruments zur prozessorientierten Erfassung interindividueller Leistungsunterschiede in den differenzierbaren kognitiven Teilprozessen des Leseverstehens und Hörverstehens von Grundschulkindern. (...) Anhand einer Querschnittsuntersuchung wurden die neu entwickelten Tests auf ihre Konstruktvalidität und Kriteriumsvalidität hin überprüft und optimiert. Die Querschnittsdaten bildeten ferner die Grundlage für psychometrische Analysen zur dimensionalen Struktur der kognitiven Teilprozesse des Hörverstehens sowie zur Beziehung von Fertigkeiten des Lese- und Hörverstehens. Die optimierten Testinstrumente wurden anschließend in einer Längsschnittuntersuchung zur Entwicklung der Effizienz von kognitiven Teilprozessen der Lesekompetenz und Hörkompetenz im Verlauf des Leseerwerbs eingesetzt. Hierfür wurden, beginnend mit dem Schuljahr 2011/2012, zwei Kohorten von Schülern vom Beginn des ersten bis zum Ende des vierten Schuljahres begleitet. Die Datenerhebung fand am Beginn des ersten sowie jeweils am Ende eines jeden Schuljahres statt. Ein weiteres Untersuchungsziel war Art und Umfang der Beeinflussung der Lesekompetenzentwicklung durch entsprechende Vorläuferfertigkeiten aus dem Bereich des Hörverstehens. (...) Es wurden sechs parallelisierte Tests des Lese- und Hörverstehens, PRODI-L und PRODI-H, entwickelt, die die kognitiven Teilprozesse auf Wortebene (phonologischen Vergleichsaufgabe, lexikalische Entscheidungsaufgabe, semantische Klassifikationsaufgabe), Satzebene (Grammatikalitätsurteile, semantische Verifikationsaufgabe) und Textebene (Textverifikationsaufgabe) differenziert erfassen. In einer Querschnittsuntersuchung mit 704 Schülern der ersten bis vierten Klasse wurden die Hörverstehenstests und Leseverstehenstests erprobt und optimiert sowie Belege für die Konstrukt- und Kriteriumsvalidität erbracht. Zudem konnte die Abhängigkeit der Leseleistungen von korrespondierenden Vorläuferfertigkeiten des Hörverstehens gezeigt werden. (DIPF/Projektträger)

3

Die Entwicklung von Kompetenz im Umgang mit dem Materiekonzept Ziel des Projekts war die Entwicklung und empirische Prüfung eines Entwicklungsmodells für die Kompetenz [von Schülern] im Umgang mit dem Materiekonzept, [einem zentralen naturwissenschaftlichen Konzept]. Auf Grundlage der umfangreichen Literatur zu Schülervorstellungen von Materie wurde zunächst ein Modell zur Beschreibung der Entwicklung des Verständnisses im Umgang mit dem Materiekonzept begründet. Zur empirischen Validierung des Modells wurden im Rahmen dieses Projekts Ordered Multiple Choic ... Ziel des Projekts war die Entwicklung und empirische Prüfung eines Entwicklungsmodells für die Kompetenz [von Schülern] im Umgang mit dem Materiekonzept, [einem zentralen naturwissenschaftlichen Konzept]. Auf Grundlage der umfangreichen Literatur zu Schülervorstellungen von Materie wurde zunächst ein Modell zur Beschreibung der Entwicklung des Verständnisses im Umgang mit dem Materiekonzept begründet. Zur empirischen Validierung des Modells wurden im Rahmen dieses Projekts Ordered Multiple Choice (OMC)-Aufgaben eingesetzt. Mit diesem Aufgabentyp können in einer Aufgabe mehrere Stufen im Sinne unterscheidbarer, hierarchisch geordneter Ausprägungen einer latenten Fähigkeit erfasst werden. Aufbauend auf den Ergebnissen einer Vorstudie wurden 39 OMC-Aufgaben entwickelt und Schülerinnen und Schülern der Klassenstufen 6 bis 13 (N=1368) vorgelegt. Begleitend zu dieser Studie wurde mit einer Auswahl der Probanden (n=11) eine Lautes-Denken-Studie durchgeführt, in der die kognitive Validität der eingesetzten OMC-Aufgaben untersucht wurde. Es konnte gezeigt werden, dass die eingesetzten OMC-Aufgaben geeignet sind, sowohl Unterschiede im Verständnis der Schüler als auch eine Entwicklung des Verständnisses im Verlauf der Schulzeit zu erfassen. Die Ergebnisse legen nahe, dass das eingesetzte Modell einen geeigneten Rahmen zur Beschreibung der Entwicklung des Verständnisses im Umgang mit dem Materiekonzept darstellt. (DIPF/Projektträger)

4

CoBALIT - Kompetenzmessung aus Arbeits- und Geschäftsprozessperspektive Im Verbundprojekt CoBALIT wurden berufliche und berufsnahe Kompetenzen in ausgewählten nationalen und internationalen kaufmännischen Ausbildungsgängen modelliert und gemessen. Auf Basis der empirischen Befunde wurden unter Rückgriff auf soziale und institutionelle Kontextfaktoren Erklärungsmodelle entworfen, um Aussagen insbesondere im Hinblick auf berufliche Lernprozesse und Instruktionsprozesse treffen zu können. Im Zentrum der Teilvorhaben standen einerseits die Entwicklung eines technologieb ... Im Verbundprojekt CoBALIT wurden berufliche und berufsnahe Kompetenzen in ausgewählten nationalen und internationalen kaufmännischen Ausbildungsgängen modelliert und gemessen. Auf Basis der empirischen Befunde wurden unter Rückgriff auf soziale und institutionelle Kontextfaktoren Erklärungsmodelle entworfen, um Aussagen insbesondere im Hinblick auf berufliche Lernprozesse und Instruktionsprozesse treffen zu können. Im Zentrum der Teilvorhaben standen einerseits die Entwicklung eines technologiebasierten Instruments, das dem Prinzip eines "authentic assessments" folgt, sowie andererseits die Modellierung und Messung von Kompetenzen aus der Perspektive von kaufmännischen Arbeitsprozessen und Geschäftsprozessen. Das Vorhaben verteilte sich auf sieben umfassende Arbeitspakete, die sich als komplexes Designmodell und Assessmentmodell interpretieren lassen: (1) Analyse und Spezifikationen kaufmännischer Geschäftsprozesse; (2) Grundlagenlegung für die Validität der zu erfassenden Konstrukte im Hinblick auf kaufmännische Geschäftsprozesse; (3) Entwicklung der Tests und Items sowie die Entwicklung möglicher Antwortformate im Rahmen der ALUSIM-Umgebung; (4) Pilotierung der Tests und Adaptation der Testitems vor dem Hintergrund der Ergebnisse; (5) Durchführung der Hauptstudie sowie im Anschluss daran (6) die Auswertung und Aufbereitung der Ergebnisse. Hierbei wurden verschiedene psychometrische Modelle geprüft. (7) Verbundkoordination (einschließlich der Steuerung der Wissenschaft-Praxis-Kooperation). (...) Die im Rahmen des Teilvorhabens konstruierte und validierte ALUSIM-Testumgebung kann als Personal Learning Environment (PLE) sowohl für Assessmentprozesse als auch Instruktionsprozesse genutzt werden. (DIPF/Projektträger)

5

CoBALIT - Transfer der Assessmentverfahren auf andere kaufmännische Berufe und Tätigkeitsbereiche Im Verbundprojekt CoBALIT wurden berufliche und berufsnahe Kompetenzen in ausgewählten nationalen und internationalen kaufmännischen Ausbildungsgängen modelliert und gemessen. Auf Basis der empirischen Befunde wurden unter Rückgriff auf soziale und institutionelle Kontextfaktoren Erklärungsmodelle beruflichen Kompetenzaufbaus entworfen, um Aussagen insbesondere im Hinblick auf berufliche Lernprozesse und Instruktionsprozesse treffen zu können. (...) Die psychometrische Modellierung der berufsfac ... Im Verbundprojekt CoBALIT wurden berufliche und berufsnahe Kompetenzen in ausgewählten nationalen und internationalen kaufmännischen Ausbildungsgängen modelliert und gemessen. Auf Basis der empirischen Befunde wurden unter Rückgriff auf soziale und institutionelle Kontextfaktoren Erklärungsmodelle beruflichen Kompetenzaufbaus entworfen, um Aussagen insbesondere im Hinblick auf berufliche Lernprozesse und Instruktionsprozesse treffen zu können. (...) Die psychometrische Modellierung der berufsfachlichen Kompetenzen erfolgte auf der Grundlage probabilistischer Testmodelle. In dieser Teilstudie wiederum standen Fragen der Übertragbarkeit von Testinstrumenten, die für einen spezifischen Ausbildungsberuf, hier dem Beruf des Industriekaufmanns, entwickelt wurden, auf andere Berufe desselben Berufsfeldes im Zentrum des Forschungsvorhabens. Zu den quantitativ bedeutsamen kaufmännischen Berufen zählte [in diesem Kontext speziell] der Beruf des Kaufmanns für Spedition und Logistikdienstleistungen. (...) Ziel des Teilprojektes war es, gemeinsame Kompetenzbereiche in den beiden zur Diskussion stehenden Ausbildungsberufen zu identifizieren, ergänzend zu den Testaufgaben für Industriekaufleute berufsspezifische Aufgaben für die Speditionsbranche und Logistikbranche zu entwickeln und zu prüfen, inwiefern zentrale kaufmännische Anforderungen in verschiedenen wirtschaftlichen Kontexten berufsübergreifend relevant sind. Im Rahmen der psychometrischen Modellierungen wurde vor allem den Fragen der spezifischen Objektivität nachgegangen. (...) Zum Arbeitsplan gehörten curriculare Analysen und Vergleiche sowie die Testorganisation und Testdurchführungen in Niedersachsen. In geringem Umfang waren auch Testadaptationen und Pilotierungen für die erweiterten bzw. neuen Testkomponenten erforderlich. Die Testanalysen und Auswertungen umfassten statistische Modellierungen, insbesondere Prüfung von angemessenen Testmodellen, Itemanalysen sowie die Berichtslegung und Dokumentation der Testitems. (...) Die im Rahmen des Teilvorhabens konstruierte und validierte ALUSIM-Testumgebung zum Transfer der Assessmentverfahren auf andere kaufmännische Berufe und Tätigkeitsbereiche kann als Personal Learning Environment (PLE) sowohl für Assessmentprozesse als auch Instruktionsprozesse genutzt werden. (DIPF/Projekt/Projektträger)

6

Sprachliche Kompetenzen Pädagogischer Fachkräfte (SprachKoPF) Das Projekt untersuchte die Sprachförderkompetenz elementarpädagogischer Fachkräfte und stellte drei Forschungsfragen: (1) Kann Sprachförderkompetenz standardisiert, computerbasiert und zeitökonomisch so getestet werden, dass die Zielpopulation den Test gut und motiviert bearbeitet? (2) Was wissen pädagogische Fachkräfte über Sprache, Spracherwerb und Mehrsprachigkeit sowie über Sprachdiagnostik und Sprachförderung im Verhältnis zum Kenntnisstand in der Spracherwerbsforschung? (3) Welchen Einflu ... Das Projekt untersuchte die Sprachförderkompetenz elementarpädagogischer Fachkräfte und stellte drei Forschungsfragen: (1) Kann Sprachförderkompetenz standardisiert, computerbasiert und zeitökonomisch so getestet werden, dass die Zielpopulation den Test gut und motiviert bearbeitet? (2) Was wissen pädagogische Fachkräfte über Sprache, Spracherwerb und Mehrsprachigkeit sowie über Sprachdiagnostik und Sprachförderung im Verhältnis zum Kenntnisstand in der Spracherwerbsforschung? (3) Welchen Einfluss haben unterschiedliche Dimensionen der Professionalität auf die Sprachförderkompetenz? Die Beantwortung der Fragen ging einher mit der Untersuchung teststatistischer Gütekriterien sowie der Praktikabilität und der Akzeptanz des Instruments. Zweitens erfolgten Studien zur Validität des zugrunde gelegten Konstrukts von Sprachförderkompetenz. Drittens wurde die empirische Relevanz und Repräsentativität der Testinhalte im Zuge des Vergleichs formal unterschiedlich qualifizierter Fachkräfte und Berufsgruppen analysiert. Nach Kriterien der klassischen Testtheorie wurde das Instrument SprachKoPFv06 entwickelt und optimiert. Es setzt sich aus drei Komponenten zusammen: Wissen, Beobachten-Können und Fördern-Können. Die Werte der teststatistischen Gütekriterien sind insgesamt und für die Wissenskomponente, die den Großteil der Items stellt, gut, für die Können-Komponenten ausreichend. [Insgesamt] liegen Ergebnisse von 144 pädagogischen Fachkräften vor. Die Akzeptanz des Instruments war unerwartet hoch. Die Testleistungen erreichten im Wissen und Beobachten ca. 60 Prozent des Kriteriums, bei den Förderableitungen über 30 Prozent. Die Sprachförderkompetenz wurde von der schulischen und beruflichen Qualifikation bestimmt, aber kaum von Weiterbildungen, Berufserfahrung oder Haltung beeinflusst. Die Projektergebnisse untermauern Forderungen nach einer Professionalisierung in der frühkindlichen Bildung. (...) Das Instrument kann in der empirischen Bildungsforschung und in der Praxis der Ausbildung und Weiterbildung zur Bedarfsanalyse sowie formativen und summativen Evaluation eingesetzt werden. (DIPF/Projektträger)

7

Empirische Beschreibung von Modellkompetenz Um zu klären, wie Schüler Kompetenzen [im Umgang mit Modellen - Bestandteil einer naturwissenschaftlichen Grundbildung (scientific literacy) - ] erwerben können, ist eine empirische Beschreibung von Modellkompetenz notwendig, die Teilkompetenzen und Niveaus umfasst. Eine Beschreibung von Modellkompetenz, die auf wissenschaftstheoretischen Arbeiten und empirischen Studien beruht, wurde im vorgestellten Projekt mit Hilfe von Multiple-Choice-Items (MC-Items) empirisch überprüft. Hierfür wurden zun ... Um zu klären, wie Schüler Kompetenzen [im Umgang mit Modellen - Bestandteil einer naturwissenschaftlichen Grundbildung (scientific literacy) - ] erwerben können, ist eine empirische Beschreibung von Modellkompetenz notwendig, die Teilkompetenzen und Niveaus umfasst. Eine Beschreibung von Modellkompetenz, die auf wissenschaftstheoretischen Arbeiten und empirischen Studien beruht, wurde im vorgestellten Projekt mit Hilfe von Multiple-Choice-Items (MC-Items) empirisch überprüft. Hierfür wurden zunächst entsprechende Items entwickelt und mit Blick darauf evaluiert, inwiefern sie die zugrunde liegende Teilkompetenz repräsentieren, bei der Itembearbeitung entsprechende kognitive Prozesse ablaufen und adäquate Itemkennwerte aufweisen. Für die empirische Beschreibung von Modellkompetenz wurden anhand dieser drei Kriterien 40 MC-Items ausgewählt. Diese wurden neben Fragebögen zu weiteren Konstrukten 1136 Schülerinnen und Schülern des Gymnasiums in den Jahrgangsstufen 7 bis 10 vorgelegt. Für die empirische Überprüfung der Strukturierung von Modellkompetenz wurden die Daten mit IRT-Modellen (Item-Response-Theorie) analysiert. Die Itemschwierigkeiten wurden in einer einfaktoriellen Varianzanalyse zur empirischen Überprüfung der Niveaus von Modellkompetenz genutzt. Darüber hinaus wurde anhand der Personenfähigkeiten in einer latenten Regression geprüft, inwieweit sich Schüler in den Jahrgangsstufen 7 bis 10 in ihrer Modellkompetenz unterscheiden, um Lernvoraussetzungen zu beschreiben. Zum anderen wurde untersucht, wie Modellkompetenz mit anderen Variablen wie zum Beispiel Intelligenz zusammenhängt. Die empirischen Befunde sprechen für spezifische enge Verknüpfungen zwischen den Teilkompetenzen. Die Niveaus bilden empirisch insgesamt steigende Anforderungen an die Schüler ab. Lehrer können die Teilkompetenzen und Niveaus somit sinnvoll als Referenzsystem heranziehen. (DIPF/Projektträger)

8

Kognitive Prozesse bei der Itembearbeitung Um zu klären, wie Schüler Kompetenzen [im Umgang mit Modellen - Bestandteil einer naturwissenschaftlichen Grundbildung (scientific literacy) - ] erwerben können, ist eine empirische Beschreibung von Modellkompetenz notwendig, die Teilkompetenzen und Niveaus umfasst. Eine Beschreibung von Modellkompetenz, die auf wissenschaftstheoretischen Arbeiten und empirischen Studien beruht, wurde im vorgestellten Projekt mit Hilfe von Multiple-Choice-Items (MC-Items) empirisch überprüft. Hierfür wurden zun ... Um zu klären, wie Schüler Kompetenzen [im Umgang mit Modellen - Bestandteil einer naturwissenschaftlichen Grundbildung (scientific literacy) - ] erwerben können, ist eine empirische Beschreibung von Modellkompetenz notwendig, die Teilkompetenzen und Niveaus umfasst. Eine Beschreibung von Modellkompetenz, die auf wissenschaftstheoretischen Arbeiten und empirischen Studien beruht, wurde im vorgestellten Projekt mit Hilfe von Multiple-Choice-Items (MC-Items) empirisch überprüft. Hierfür wurden zunächst entsprechende Items entwickelt und mit Blick darauf evaluiert, inwiefern sie die zugrunde liegende Teilkompetenz repräsentieren, bei der Itembearbeitung entsprechende kognitive Prozesse ablaufen und adäquate Itemkennwerte aufweisen. Für die empirische Beschreibung von Modellkompetenz wurden anhand dieser drei Kriterien 40 MC-Items ausgewählt. Diese wurden neben Fragebögen zu weiteren Konstrukten 1136 Schülerinnen und Schülern des Gymnasiums in den Jahrgangsstufen 7 bis 10 vorgelegt. Für die empirische Überprüfung der Strukturierung von Modellkompetenz wurden die Daten mit IRT-Modellen (Item-Response-Theorie) analysiert. Die Itemschwierigkeiten wurden in einer einfaktoriellen Varianzanalyse zur empirischen Überprüfung der Niveaus von Modellkompetenz genutzt. Darüber hinaus wurde anhand der Personenfähigkeiten in einer latenten Regression geprüft, inwieweit sich Schüler in den Jahrgangsstufen 7 bis 10 in ihrer Modellkompetenz unterscheiden, um Lernvoraussetzungen zu beschreiben. Zum anderen wurde untersucht, wie Modellkompetenz mit anderen Variablen wie zum Beispiel Intelligenz zusammenhängt. Die empirischen Befunde sprechen für spezifische enge Verknüpfungen zwischen den Teilkompetenzen. Die Niveaus bilden empirisch insgesamt steigende Anforderungen an die Schüler ab. Lehrer können die Teilkompetenzen und Niveaus somit sinnvoll als Referenzsystem heranziehen. (DIPF/Projektträger)

9

Entwicklung von Modellkompetenz im Kontext Biologieunterricht Das Ziel dieses Projektes war es zu untersuchen, inwiefern die in einem Kompetenzmodell beschriebenen Niveaus aufeinander aufbauende Entwicklungsstufen darstellen und es sich somit um ein Kompetenzentwicklungsmodell handelt. Zudem wurde untersucht, welche Lerngelegenheiten sich den Schülern im Bereich Modelle bieten und wie diese Lerngelegenheiten die Kompetenzentwicklung beeinflussen. Dies wurde im Rahmen einer Längsschnittstudie mit drei Messzeitpunkten über drei Jahre am Gymnasium untersucht, ... Das Ziel dieses Projektes war es zu untersuchen, inwiefern die in einem Kompetenzmodell beschriebenen Niveaus aufeinander aufbauende Entwicklungsstufen darstellen und es sich somit um ein Kompetenzentwicklungsmodell handelt. Zudem wurde untersucht, welche Lerngelegenheiten sich den Schülern im Bereich Modelle bieten und wie diese Lerngelegenheiten die Kompetenzentwicklung beeinflussen. Dies wurde im Rahmen einer Längsschnittstudie mit drei Messzeitpunkten über drei Jahre am Gymnasium untersucht, zum einen über eine Kohorte von der siebten bis zur neunten und eine zweite Kohorte von der achten bis zur zehnten Jahrgangsstufe. Zur Erfassung der Modellkompetenz der Schüler wurden bereits evaluierte Multiple-Choice-Aufgaben und offene Aufgaben eingesetzt. Die Entwicklung der Modellkompetenz wurde mit Hilfe mehrdimensionaler Rasch-Skalierungen modelliert. Zur Erfassung der Lerngelegenheiten beantworteten die Biologielehrkräfte der befragten Schüler einen Fragebogen zu ihrem Einsatz von Modellen im Unterricht. Der Einfluss der Lerngelegenheiten auf die Modellkompetenz der Schüler wurde mittels Regressionsanalysen untersucht. Die erste Messung wurde im Juli 2011 mit der Befragung von 709 Schülerinnen und Schülern und 10 Lehrkräften, die zweite Messung im Juli 2012 mit der Befragung von 699 Schülerinnen und Schülern und 8 Lehrkräften durchgeführt. Bisherige Modellierungen zeigen, dass die Items eine gute Passung mit dem Messmodell aufweisen. Im Juli 2013 erfolgte die dritte Messung. Deren Ergebnisse dienen neben der Überprüfung des Kompetenzentwicklungsmodells einer detaillierten Beschreibung des Kenntnisstandes von Lernenden der 7. bis 10. Jahrgangsstufe und können als Grundlage für die Entwicklung von Interventionen und die Gestaltung von Lernmaterialien zur Förderung der Modellkompetenz herangezogen werden. (DIPF/Projektträger)

10

Entwicklung und Validierung eines Instruments zur Erfassung der professionellen Handlungskompetenz von angehenden Physiklehrkräften Ziel des Vorhabens war es zu überprüfen, ob ein an der Universität Paderborn entwickeltes Testinstrument zur Erfassung professioneller Handlungskompetenz (angehender) Physiklehrkräfte auch tatsächlich für das effektive Unterrichten notwendiges Wissen erfasst. Der Test unterscheidet das professionelle Wissen in fachliches, fachdidaktisches und pädagogisches Wissen und erfasst zusätzlich motivationale Orientierungen und Einstellungen sowie Werthaltungen zum Physiklehren und Physiklernen. Zur Überp ... Ziel des Vorhabens war es zu überprüfen, ob ein an der Universität Paderborn entwickeltes Testinstrument zur Erfassung professioneller Handlungskompetenz (angehender) Physiklehrkräfte auch tatsächlich für das effektive Unterrichten notwendiges Wissen erfasst. Der Test unterscheidet das professionelle Wissen in fachliches, fachdidaktisches und pädagogisches Wissen und erfasst zusätzlich motivationale Orientierungen und Einstellungen sowie Werthaltungen zum Physiklehren und Physiklernen. Zur Überprüfung wurde unter spezifischen Bedingungen Physikunterricht von Studierenden und Lehramtsanwärterinnen und Lehramtsanwärtern videografiert und hinsichtlich sechs Dimensionen der unterrichtlichen Qualität untersucht: Motivierung, Strukturierung, Adaptivität/ Umgang mit Heterogenität, kognitive Aktivierung, adäquater Umgang mit Experimenten und Klassenführung. Korrespondierend wurden bei den Studierenden und Lehramtsanwärtern mit Hilfe des Instruments professionelles Wissen sowie motivationale Orientierungen und Einstellungen erhoben. Anschließend wurden Zusammenhangsanalysen zwischen Testergebnissen und Unterrichtsqualität vorgenommen. Zusätzlich wurde die Sicht der handelnden, angehenden Lehrkräfte mit Hilfe von Interviews erhoben, um den Zusammenhang zwischen Wissen und Handeln auch aus subjektiver Akteurssicht untersuchen zu können. Bezogen auf die gesamte Stichprobe konnte ein korrelativer Zusammenhang zwischen professionellem Wissen und Unterrichtsqualität bisher nur für das pädagogische Wissen beobachtet werden. Eine angehende Physiklehrkraft, die im Test höheres pädagogisches Wissen zeigte, unterrichtete mit höherer Qualität in fast allen Qualitätsdimensionen. Werden Studierende und Lehramtsanwärter gruppenweise betrachtet, so zeigt sich, dass bei Studierenden zusätzlich das fachdidaktische Wissen in einem korrelativen Zusammenhang zur Qualität des Unterrichts steht. (DIPF/Projektträger)

11

Fehleranalysefähigkeit Zentrales Ziel des Projekts war die Bereitstellung von Erkenntnissen zur Kompetenzmodellierung und Kompetenzmessung von Kfz-Mechatronikern sowie valider und reliabler Instrumente zur Erfassung der zentralen Subdimensionen der Fachkompetenz. (...) Das Projekt entwickelte [hierzu] ein umfassendes Kompetenzmodell für den Ausbildungsberuf der Kfz-Mechatroniker und für die einzelnen Kompetenzbereiche Fehleranalyse, Reparatur/ Instandhaltung und Standardservice computerbasierte Instrumente zur Erfassu ... Zentrales Ziel des Projekts war die Bereitstellung von Erkenntnissen zur Kompetenzmodellierung und Kompetenzmessung von Kfz-Mechatronikern sowie valider und reliabler Instrumente zur Erfassung der zentralen Subdimensionen der Fachkompetenz. (...) Das Projekt entwickelte [hierzu] ein umfassendes Kompetenzmodell für den Ausbildungsberuf der Kfz-Mechatroniker und für die einzelnen Kompetenzbereiche Fehleranalyse, Reparatur/ Instandhaltung und Standardservice computerbasierte Instrumente zur Erfassung beruflicher Handlungskompetenzen weiter. Mit diesen zum Teil bereits erprobten Systemen ließen sich einerseits Realitäten gut nachbilden, andererseits konnten bewusst Fehler eingebaut werden, anhand deren Diagnose (...) Handlungskompetenzen sichtbar gemacht, aber auch eingeübt werden konnten. [Dies basiert auf der Erkenntnis von Vorstudien, die] zeigen, dass es so möglich wird, die Kompetenzen wie beim Einsatz realer Fahrzeuge zu messen. [In mehreren, auch miteinander verknüpften Teilstudien wurden folgende Ziele verfolgt:] (1) die Bereitstellung eines Fachwissenstests, der reliable Leistungsabschätzungen in den Subdimensionen ermöglicht und eine Basis für adaptives Testen bilden kann, (2) die Bereitstellung eines reliablen und validen Tests zur Erfassung der Kompetenzfacette Reparatur / Instandhaltung (inklusive kriterienbezogener Validierung), (3) eine Erweiterung der Tests zur Fehleranalyse, (4) eine Analyse zu den Zusammenhängen zwischen den Subdimensionen der Fachkompetenz, (5) eine Erprobung der neuen Aufgabenformate in Prüfungskontexten und (6) die Prüfung, ob mit modifizierten Fachwissenstests die Fehleranalysefähigkeit hinreichend prognostiziert werden kann. (...) Ergänzend wurden zu Beginn des Projekts die curricularen Schwerpunktsetzungen in Schule und Betrieb erfasst. Für die statistische Auswertung wurden neben klassischen Verfahren insbesondere Item-Response-Theorie (IRT)-basierte Testmodelle und Strukturgleichungsanalysen herangezogen. (DIPF/Projektträger)

12

Zusammenhänge der Subdimensionen berufsfachlicher Kompetenz Zentrales Ziel des Projekts war die Bereitstellung von Erkenntnissen zur Kompetenzmodellierung und Kompetenzmessung von Kfz-Mechatronikern sowie valider und reliabler Instrumente zur Erfassung der zentralen Subdimensionen der Fachkompetenz. (...) Das Projekt entwickelte [hierzu] ein umfassendes Kompetenzmodell für den Ausbildungsberuf der Kfz-Mechatroniker und für die einzelnen Kompetenzbereiche Fehleranalyse, Reparatur/ Instandhaltung und Standardservice computerbasierte Instrumente zur Erfassu ... Zentrales Ziel des Projekts war die Bereitstellung von Erkenntnissen zur Kompetenzmodellierung und Kompetenzmessung von Kfz-Mechatronikern sowie valider und reliabler Instrumente zur Erfassung der zentralen Subdimensionen der Fachkompetenz. (...) Das Projekt entwickelte [hierzu] ein umfassendes Kompetenzmodell für den Ausbildungsberuf der Kfz-Mechatroniker und für die einzelnen Kompetenzbereiche Fehleranalyse, Reparatur/ Instandhaltung und Standardservice computerbasierte Instrumente zur Erfassung beruflicher Handlungskompetenzen weiter. Mit diesen zum Teil bereits erprobten Systemen ließen sich einerseits Realitäten gut nachbilden, andererseits konnten bewusst Fehler eingebaut werden, anhand deren Diagnose (...) Handlungskompetenzen sichtbar gemacht, aber auch eingeübt werden konnten. [Dies basiert auf der Erkenntnis von Vorstudien, die] zeigen, dass es so möglich wird, die Kompetenzen wie beim Einsatz realer Fahrzeuge zu messen. [In mehreren, auch miteinander verknüpften Teilstudien wurden folgende Ziele verfolgt:] (1) die Bereitstellung eines Fachwissenstests, der reliable Leistungsabschätzungen in den Subdimensionen ermöglicht und eine Basis für adaptives Testen bilden kann, (2) die Bereitstellung eines reliablen und validen Tests zur Erfassung der Kompetenzfacette Reparatur / Instandhaltung (inklusive kriterienbezogener Validierung), (3) eine Erweiterung der Tests zur Fehleranalyse, (4) eine Analyse zu den Zusammenhängen zwischen den Subdimensionen der Fachkompetenz, (5) eine Erprobung der neuen Aufgabenformate in Prüfungskontexten und (6) die Prüfung, ob mit modifizierten Fachwissenstests die Fehleranalysefähigkeit hinreichend prognostiziert werden kann. (...) Ergänzend wurden zu Beginn des Projekts die curricularen Schwerpunktsetzungen in Schule und Betrieb erfasst. Für die statistische Auswertung wurden neben klassischen Verfahren insbesondere Item-Response-Theorie (IRT)-basierte Testmodelle und Strukturgleichungsanalysen herangezogen. (DIPF/Projektträger)

13

Erprobung neuer Aufgabenformate in Prüfungskontexten Zentrales Ziel des Projekts war die Bereitstellung von Erkenntnissen zur Kompetenzmodellierung und Kompetenzmessung von Kfz-Mechatronikern sowie valider und reliabler Instrumente zur Erfassung der zentralen Subdimensionen der Fachkompetenz. (...) Das Projekt entwickelte [hierzu] ein umfassendes Kompetenzmodell für den Ausbildungsberuf der Kfz-Mechatroniker und für die einzelnen Kompetenzbereiche Fehleranalyse, Reparatur/ Instandhaltung und Standardservice computerbasierte Instrumente zur Erfassu ... Zentrales Ziel des Projekts war die Bereitstellung von Erkenntnissen zur Kompetenzmodellierung und Kompetenzmessung von Kfz-Mechatronikern sowie valider und reliabler Instrumente zur Erfassung der zentralen Subdimensionen der Fachkompetenz. (...) Das Projekt entwickelte [hierzu] ein umfassendes Kompetenzmodell für den Ausbildungsberuf der Kfz-Mechatroniker und für die einzelnen Kompetenzbereiche Fehleranalyse, Reparatur/ Instandhaltung und Standardservice computerbasierte Instrumente zur Erfassung beruflicher Handlungskompetenzen weiter. Mit diesen zum Teil bereits erprobten Systemen ließen sich einerseits Realitäten gut nachbilden, andererseits konnten bewusst Fehler eingebaut werden, anhand deren Diagnose (...) Handlungskompetenzen sichtbar gemacht, aber auch eingeübt werden konnten. [Dies basiert auf der Erkenntnis von Vorstudien, die] zeigen, dass es so möglich wird, die Kompetenzen wie beim Einsatz realer Fahrzeuge zu messen. [In mehreren, auch miteinander verknüpften Teilstudien wurden folgende Ziele verfolgt:] (1) die Bereitstellung eines Fachwissenstests, der reliable Leistungsabschätzungen in den Subdimensionen ermöglicht und eine Basis für adaptives Testen bilden kann, (2) die Bereitstellung eines reliablen und validen Tests zur Erfassung der Kompetenzfacette Reparatur / Instandhaltung (inklusive kriterienbezogener Validierung), (3) eine Erweiterung der Tests zur Fehleranalyse, (4) eine Analyse zu den Zusammenhängen zwischen den Subdimensionen der Fachkompetenz, (5) eine Erprobung der neuen Aufgabenformate in Prüfungskontexten und (6) die Prüfung, ob mit modifizierten Fachwissenstests die Fehleranalysefähigkeit hinreichend prognostiziert werden kann. (...) Ergänzend wurden zu Beginn des Projekts die curricularen Schwerpunktsetzungen in Schule und Betrieb erfasst. Für die statistische Auswertung wurden neben klassischen Verfahren insbesondere Item-Response-Theorie (IRT)-basierte Testmodelle und Strukturgleichungsanalysen herangezogen. (DIPF/Projektträger)

14

Fachwissen Zentrales Ziel des Projekts war die Bereitstellung von Erkenntnissen zur Kompetenzmodellierung und Kompetenzmessung von Kfz-Mechatronikern sowie valider und reliabler Instrumente zur Erfassung der zentralen Subdimensionen der Fachkompetenz. (...) Das Projekt entwickelte [hierzu] ein umfassendes Kompetenzmodell für den Ausbildungsberuf der Kfz-Mechatroniker und für die einzelnen Kompetenzbereiche Fehleranalyse, Reparatur/ Instandhaltung und Standardservice computerbasierte Instrumente zur Erfassu ... Zentrales Ziel des Projekts war die Bereitstellung von Erkenntnissen zur Kompetenzmodellierung und Kompetenzmessung von Kfz-Mechatronikern sowie valider und reliabler Instrumente zur Erfassung der zentralen Subdimensionen der Fachkompetenz. (...) Das Projekt entwickelte [hierzu] ein umfassendes Kompetenzmodell für den Ausbildungsberuf der Kfz-Mechatroniker und für die einzelnen Kompetenzbereiche Fehleranalyse, Reparatur/ Instandhaltung und Standardservice computerbasierte Instrumente zur Erfassung beruflicher Handlungskompetenzen weiter. Mit diesen zum Teil bereits erprobten Systemen ließen sich einerseits Realitäten gut nachbilden, andererseits konnten bewusst Fehler eingebaut werden, anhand deren Diagnose (...) Handlungskompetenzen sichtbar gemacht, aber auch eingeübt werden konnten. [Dies basiert auf der Erkenntnis von Vorstudien, die] zeigen, dass es so möglich wird, die Kompetenzen wie beim Einsatz realer Fahrzeuge zu messen. [In mehreren, auch miteinander verknüpften Teilstudien wurden folgende Ziele verfolgt:] (1) die Bereitstellung eines Fachwissenstests, der reliable Leistungsabschätzungen in den Subdimensionen ermöglicht und eine Basis für adaptives Testen bilden kann, (2) die Bereitstellung eines reliablen und validen Tests zur Erfassung der Kompetenzfacette Reparatur / Instandhaltung (inklusive kriterienbezogener Validierung), (3) eine Erweiterung der Tests zur Fehleranalyse, (4) eine Analyse zu den Zusammenhängen zwischen den Subdimensionen der Fachkompetenz, (5) eine Erprobung der neuen Aufgabenformate in Prüfungskontexten und (6) die Prüfung, ob mit modifizierten Fachwissenstests die Fehleranalysefähigkeit hinreichend prognostiziert werden kann. (...) Ergänzend wurden zu Beginn des Projekts die curricularen Schwerpunktsetzungen in Schule und Betrieb erfasst. Für die statistische Auswertung wurden neben klassischen Verfahren insbesondere Item-Response-Theorie (IRT)-basierte Testmodelle und Strukturgleichungsanalysen herangezogen. (DIPF/Projektträger)

15

Videovignetten Reparatur / Instandhaltung Zentrales Ziel des Projekts war die Bereitstellung von Erkenntnissen zur Kompetenzmodellierung und Kompetenzmessung von Kfz-Mechatronikern sowie valider und reliabler Instrumente zur Erfassung der zentralen Subdimensionen der Fachkompetenz. (...) Das Projekt entwickelte [hierzu] ein umfassendes Kompetenzmodell für den Ausbildungsberuf der Kfz-Mechatroniker und für die einzelnen Kompetenzbereiche Fehleranalyse, Reparatur/ Instandhaltung und Standardservice computerbasierte Instrumente zur Erfassu ... Zentrales Ziel des Projekts war die Bereitstellung von Erkenntnissen zur Kompetenzmodellierung und Kompetenzmessung von Kfz-Mechatronikern sowie valider und reliabler Instrumente zur Erfassung der zentralen Subdimensionen der Fachkompetenz. (...) Das Projekt entwickelte [hierzu] ein umfassendes Kompetenzmodell für den Ausbildungsberuf der Kfz-Mechatroniker und für die einzelnen Kompetenzbereiche Fehleranalyse, Reparatur/ Instandhaltung und Standardservice computerbasierte Instrumente zur Erfassung beruflicher Handlungskompetenzen weiter. Mit diesen zum Teil bereits erprobten Systemen ließen sich einerseits Realitäten gut nachbilden, andererseits konnten bewusst Fehler eingebaut werden, anhand deren Diagnose (...) Handlungskompetenzen sichtbar gemacht, aber auch eingeübt werden konnten. [Dies basiert auf der Erkenntnis von Vorstudien, die] zeigen, dass es so möglich wird, die Kompetenzen wie beim Einsatz realer Fahrzeuge zu messen. [In mehreren, auch miteinander verknüpften Teilstudien wurden folgende Ziele verfolgt:] (1) die Bereitstellung eines Fachwissenstests, der reliable Leistungsabschätzungen in den Subdimensionen ermöglicht und eine Basis für adaptives Testen bilden kann, (2) die Bereitstellung eines reliablen und validen Tests zur Erfassung der Kompetenzfacette Reparatur / Instandhaltung (inklusive kriterienbezogener Validierung), (3) eine Erweiterung der Tests zur Fehleranalyse, (4) eine Analyse zu den Zusammenhängen zwischen den Subdimensionen der Fachkompetenz, (5) eine Erprobung der neuen Aufgabenformate in Prüfungskontexten und (6) die Prüfung, ob mit modifizierten Fachwissenstests die Fehleranalysefähigkeit hinreichend prognostiziert werden kann. (...) Ergänzend wurden zu Beginn des Projekts die curricularen Schwerpunktsetzungen in Schule und Betrieb erfasst. Für die statistische Auswertung wurden neben klassischen Verfahren insbesondere Item-Response-Theorie (IRT)-basierte Testmodelle und Strukturgleichungsanalysen herangezogen. (DIPF/Projektträger)

16

Curriculare Schwerpunktsetzungen und itembezogene Daten zum Fachwissenstest Zentrales Ziel des Projekts war die Bereitstellung von Erkenntnissen zur Kompetenzmodellierung und Kompetenzmessung von Kfz-Mechatronikern sowie valider und reliabler Instrumente zur Erfassung der zentralen Subdimensionen der Fachkompetenz. (...) Das Projekt entwickelte [hierzu] ein umfassendes Kompetenzmodell für den Ausbildungsberuf der Kfz-Mechatroniker und für die einzelnen Kompetenzbereiche Fehleranalyse, Reparatur/ Instandhaltung und Standardservice computerbasierte Instrumente zur Erfassu ... Zentrales Ziel des Projekts war die Bereitstellung von Erkenntnissen zur Kompetenzmodellierung und Kompetenzmessung von Kfz-Mechatronikern sowie valider und reliabler Instrumente zur Erfassung der zentralen Subdimensionen der Fachkompetenz. (...) Das Projekt entwickelte [hierzu] ein umfassendes Kompetenzmodell für den Ausbildungsberuf der Kfz-Mechatroniker und für die einzelnen Kompetenzbereiche Fehleranalyse, Reparatur/ Instandhaltung und Standardservice computerbasierte Instrumente zur Erfassung beruflicher Handlungskompetenzen weiter. Mit diesen zum Teil bereits erprobten Systemen ließen sich einerseits Realitäten gut nachbilden, andererseits konnten bewusst Fehler eingebaut werden, anhand deren Diagnose (...) Handlungskompetenzen sichtbar gemacht, aber auch eingeübt werden konnten. [Dies basiert auf der Erkenntnis von Vorstudien, die] zeigen, dass es so möglich wird, die Kompetenzen wie beim Einsatz realer Fahrzeuge zu messen. [In mehreren, auch miteinander verknüpften Teilstudien wurden folgende Ziele verfolgt:] (1) die Bereitstellung eines Fachwissenstests, der reliable Leistungsabschätzungen in den Subdimensionen ermöglicht und eine Basis für adaptives Testen bilden kann, (2) die Bereitstellung eines reliablen und validen Tests zur Erfassung der Kompetenzfacette Reparatur / Instandhaltung (inklusive kriterienbezogener Validierung), (3) eine Erweiterung der Tests zur Fehleranalyse, (4) eine Analyse zu den Zusammenhängen zwischen den Subdimensionen der Fachkompetenz, (5) eine Erprobung der neuen Aufgabenformate in Prüfungskontexten und (6) die Prüfung, ob mit modifizierten Fachwissenstests die Fehleranalysefähigkeit hinreichend prognostiziert werden kann. (...) Ergänzend wurden zu Beginn des Projekts die curricularen Schwerpunktsetzungen in Schule und Betrieb erfasst. Für die statistische Auswertung wurden neben klassischen Verfahren insbesondere Item-Response-Theorie (IRT)-basierte Testmodelle und Strukturgleichungsanalysen herangezogen. (DIPF/Projektträger)

17

Konstruktion eines Messinstruments zur Erfassung der fachdidaktischen Kompetenz in der Domäne Wirtschaftswissenschaften Die Ziele dieses Vorhabens richteten sich darauf, speziell das fachdidaktische Wissen eines Lehrers im kaufmännisch-verwaltenden Bereich (Domäne Wirtschaft) theoretisch zu beschreiben, um auf dieser Basis ein geeignetes Verfahren zu seiner Messung entwickeln und prüfen zu können. Unter Berücksichtigung der Besonderheiten im kaufmännisch-verwaltenden Unterricht (z.B. wirtschaftsdidaktische Prinzipien) wurde ein umfassendes theoretisches Modell entwickelt, welches das fachdidaktische Wissen in der ... Die Ziele dieses Vorhabens richteten sich darauf, speziell das fachdidaktische Wissen eines Lehrers im kaufmännisch-verwaltenden Bereich (Domäne Wirtschaft) theoretisch zu beschreiben, um auf dieser Basis ein geeignetes Verfahren zu seiner Messung entwickeln und prüfen zu können. Unter Berücksichtigung der Besonderheiten im kaufmännisch-verwaltenden Unterricht (z.B. wirtschaftsdidaktische Prinzipien) wurde ein umfassendes theoretisches Modell entwickelt, welches das fachdidaktische Wissen in der Domäne Wirtschaft in seiner Struktur präzisiert. Auf dieser Grundlage wurde ein Test konstruiert, welcher die Bearbeitung realitätsnaher wirtschaftsdidaktischer Aufgaben erfordert (z.B. zur Unterrichtsplanung). (...) Mittels qualitativer und quantitativer Zugänge wurde [dieser] Paper-Pencil-Test, bestehend aus geschlossenen und offenen situationsbasierten Aufgaben, hinsichtlich der ihm zugrundliegenden theoretischen Annahmen einer umfassenden empirischen Erprobung und Validierung nach den Standards von AERA et al. (2004) unterzogen. Neben einer Expertenbefragung zur inhaltlichen Relevanz und kognitiven Interviews zur Analyse der Denkprozesse bei der Itembearbeitung wurde im Jahr 2011 eine quantitative Erhebung bei Studierenden der Wirtschaftspädagogik, Referendaren sowie Lehrkräften mit Fach Wirtschaft im berufsbildenden Bereich durchgeführt (N=338). Auf dieser Basis konnten weitere Analysen vollzogen werden, die sich unter anderem auf die Struktur und Skalierung des Tests richteten. Die theoretischen Annahmen zur Struktur des Konstrukts konnten empirisch gestützt werden (u. a. Bestätigung der Raschkonformität). Zur diskriminanten Validierung wurde der Test bei Kontrastgruppen eingesetzt (...). Die Zielgruppen und Kontrastgruppen variierten in der gemessenen Wissensausprägung erwartungskonform. Damit liefert die Arbeit wesentliche grundlagentheoretische und empirische Erkenntnisse im bislang noch unzureichend erforschten kaufmännisch-verwaltenden Lehrerbildungsbereich. (DIPF/Projekt/Projekwebseite)