Teilvorhaben Adaptives Testen und Psychometrie

Duration: 01.12.2011 - 31.05.2015

Das Verbundvorhaben CoSMed zielte auf die Modellierung und Messung beruflicher Kompetenzen Medizinischer Fachangestellter (MFA) und die Generierung komplexer Erklärungsmodelle zum Einfluss individueller und institutioneller Faktoren ab. Ein besonderer Stellenwert kam auch...    more

Das Verbundvorhaben CoSMed zielte auf die Modellierung und Messung beruflicher Kompetenzen Medizinischer Fachangestellter (MFA) und die Generierung komplexer Erklärungsmodelle zum Einfluss individueller und institutioneller Faktoren ab. Ein besonderer Stellenwert kam auch der Messung schulischer Kernkompetenzen als bedeutsamen Determinanten beruflicher Fachleistungen zu. Durch das Teilvorhaben wurde die Entwicklung und Auswertung von adaptiven Testverfahren gemäß internationalen Standards gesichert. Konkret wurden drei Ziele verfolgt: (1) Die Konstruktion je eines Item Response Theory (IRT)-basierten adaptiven Tests zur Messung mathematischer Kompetenz, naturwissenschaftlicher Kompetenz, Lesekompetenz und selbstregulativer Fähigkeiten; (2) die softwaretechnische Umsetzung der adaptiven Tests und des Hintergrundfragebogens; (3) die Unterstützung und Weiterbildung bei IRT-Skalierungen, statistischen Analysen und der Einsatz der adaptiven Tests. (…) Schwerpunkte [des Teilvorhabens] lagen in der Auswahl von Items, der Präsentation (…), der Computerisierung von Items, der Softwareprogrammierung (Hintergrundfragebogen), der Konstruktion des Booklet-Designs, der Durchführung und Kalibrierung in Thüringen, der Simulation und Erstellung der CAT-Endversion, der Planung und Durchführung der Pilotierung in Thüringen, (…) der Beschreibung des Kompetenzniveaus, der Unterstützung bei CAT-Testungen, der methodischen Unterstützung und Weiterbildung sowie der Dokumentation und Publikation. Für das Teilvorhaben wurden zusätzliche [anwendungsbezogene, psychometrische] Fragestellungen zur methodischen Neuentwicklung und Weiterentwicklung sowie Modifikationen adaptiver Algorithmen (…) untersucht. (DIPF/Projektträger)    less

Duration: 01.11.2007 - 30.06.2014

Im Projekt wurde ein Testinstrument (Kompetenzentwicklungstest) entwickelt, mit dessen Hilfe die Kompetenzentwicklung der Schüler für das Basiskonzept Energie untersucht wurde. Dabei wurde eine Querschnittstudie über die Jahrgänge 6 bis 10 der Sekundarstufe I aus Nordrhei...    more

Im Projekt wurde ein Testinstrument (Kompetenzentwicklungstest) entwickelt, mit dessen Hilfe die Kompetenzentwicklung der Schüler für das Basiskonzept Energie untersucht wurde. Dabei wurde eine Querschnittstudie über die Jahrgänge 6 bis 10 der Sekundarstufe I aus Nordrhein-Westfalen durchgeführt. Des Weiteren wurde ein Teil der Querschnittsstudiengruppe zu einem Längsschnitt ausgeweitet.     less

Duration: 2011 - 2013

Obwohl die berufliche Fachkompetenz in allen gängigen konzeptuellen Kompetenzstrukturmodellen der beruflichen Bildung als zentrale Facette und notwendige Bedingung zur erfolgreichen Bewältigung beruflicher Anforderungen charakterisiert wird, stehen in weiten Teilen beruflic...    more

Obwohl die berufliche Fachkompetenz in allen gängigen konzeptuellen Kompetenzstrukturmodellen der beruflichen Bildung als zentrale Facette und notwendige Bedingung zur erfolgreichen Bewältigung beruflicher Anforderungen charakterisiert wird, stehen in weiten Teilen beruflicher Domänen keine adäquaten und empirisch validierten Kompetenzmodelle zur Verfügung. Im gewerblich-technischen Bereich konnten für die kraftfahrzeug- und elektrotechnische Grundbildung durch die Forschergruppe um Nickolaus bereits erste Befunde zur Kompetenzmodellierung vorgelegt werden; für die bautechnische Grundbildung (erstes Ausbildungsjahr für die Berufe der Bauwirtschaft) steht die kompetenzdiagnostische Forschung hingegen noch am Anfang. Ziel des vorliegenden Projekts ist es, bestehende Lücken zu schließen und (1) ein auf der Basis probabilistischer Testtheorie geprüftes Instrument zur Erfassung der bautechnischen Fachkompetenz bereitzustellen, das die beruflichen Anforderungsstrukturen der Grundbildung Bautechnik adäquat abbildet, (2) ein Niveau- und Strukturmodell der bautechnischen Fachkompetenz zu entwickeln bzw. zu überprüfen, um Aussagen über die erreichten Kompetenzstände sowie die Dimensionalität der Fachkompetenz zu gewinnen,(3)die Zusammenhänge zwischen unterschiedlichen Dimensionen (fachspezifisches Wissen und fachspezifische Problemlösefähigkeit) und gegebenenfalls weiteren Subdimensionen zu analysieren, (4) ein Erklärungsmodell für die Ausprägung der bautechnischen Fachkompetenz am Ende der Grundbildung zu generieren und schließlich (5) Effekte der Berufszugehörigkeit (Fliesenleger/ Stuckateure vs. Zimmerer) auf die lernfeldspezifische Kompetenzausprägung zu klären.    less

Duration: 01.01.2008 - 31.05.2013

Die Studie „Bewertungskompetenz für das Anwendungsfeld Energie" wurde von der Didaktik der Physik in Kooperation mit der Didaktik der Biologie an der Universität Göttingen realisiert. Untersucht wurde, inwieweit das Göttinger Modell der Bewertungskompetenz (Eggert & Bögeh...    more

Die Studie „Bewertungskompetenz für das Anwendungsfeld Energie" wurde von der Didaktik der Physik in Kooperation mit der Didaktik der Biologie an der Universität Göttingen realisiert. Untersucht wurde, inwieweit das Göttinger Modell der Bewertungskompetenz (Eggert & Bögeholz, 2006; Bögeholz, 2011), das bislang schwerpunktmäßig biologierelevante Fragen von Bildung für Nachhaltige Entwicklung (BNE; biodiversitäts- und konsum-relevante „socioscientific issues“) aufgreift, auch auf physikrelevante und interdisziplinär zu lösende Energiefragen zu BNE übertragbar ist. Hierzu wurde ein Test entwickelt, der die Teilkompetenz "Bewerten, Entscheiden und Reflektieren" des Göttinger Modells für die Anwendungskontexte Energiegewinnung, -speicherung und -nutzung aufbereitet.    less

Duration: 01.04.2012 - 31.03.2015

Ziel des Projekts CavE-ICT war es, eine stärkere theoretische Verankerung für das Konstrukt ICT-Skills (Informations- und kommunikationstechnologiebezogene Fähigkeiten) zu schaffen und darauf aufbauend einen verhaltensbasierten ICT-Skills-Test für 15-jährige Schülerinnen und ...    more

Ziel des Projekts CavE-ICT war es, eine stärkere theoretische Verankerung für das Konstrukt ICT-Skills (Informations- und kommunikationstechnologiebezogene Fähigkeiten) zu schaffen und darauf aufbauend einen verhaltensbasierten ICT-Skills-Test für 15-jährige Schülerinnen und Schüler zu entwickeln und zu erproben. Es wurden 70 simulationsbasierte Items mit dem Autorenwerkzeug CBA ItemBuilder implementiert. Dieser wurde an 766 15-jährigen Schülerinnen und Schülern kalibriert. 64 Items wurden für den endgültigen Itempool des ICT-Skills-Test selektiert, welcher eine Reliabilität von .80 erreicht. Eine verkürzte Version des ICT-Skills Tests, wie auch ein adaptiver Testalgorithmus, wurden erprobt und die Validität der intendierten Testwerteinterpretation wurde untersucht.    less

Teilvorhaben Modellierung und adaptive Messung beruflicher Kompetenzen bei Medizinischen Fachangestellten

Duration: 01.12.2011 - 31.05.2015

Das Verbundvorhaben CoSMed zielte auf die Modellierung und Messung beruflicher Kompetenzen Medizinischer Fachangestellter (MFA) und die Generierung komplexer Erklärungsmodelle zum Einfluss individueller und institutioneller Faktoren. Ein besonderer Stellenwert kam auch de...    more

Das Verbundvorhaben CoSMed zielte auf die Modellierung und Messung beruflicher Kompetenzen Medizinischer Fachangestellter (MFA) und die Generierung komplexer Erklärungsmodelle zum Einfluss individueller und institutioneller Faktoren. Ein besonderer Stellenwert kam auch der Messung schulischer Kernkompetenzen als bedeutsamen Determinanten beruflicher Fachleistungen zu. In diesem Teilvorhaben wurden ein Domänenmodell und ein Kompetenzmodell ausdifferenziert sowie ein technologiebasiertes Assessment zur Messung von berufsfachlichen Kompetenzen entwickelt. In einem ersten Schritt wurden die beruflichen Anforderungen an die Medizinischen Fachangestellten herausgearbeitet und typische Handlungsabläufe expliziert. Parallel erfolgte die Entwicklung einer webbasierten Unternehmenssimulation, in der möglichst authentische Arbeitsprozesse und Geschäftsprozesse von MFA abgebildet wurden. Für die Niveaumodellierung wurde jede Testaufgabe im Vorfeld multipel klassifiziert, um kognitionspsychologisch begründet Kompetenzstufen unterscheiden zu können. Die Auswertung der Daten der Haupterhebung erfolgte auf der Grundlage probabilistischer Testmodelle und weiterer Analyseverfahren, die die Herausarbeitung von Zusammenhängen zwischen beruflicher Fachkompetenz und individueller Merkmale sowie Kontextbedingungen erlauben. (DIPF/Projektträger)    less

Duration: 01.02.2016 - 30.04.2019

Das Anliegen des Projekts „BilWiss-UV“ war es, einen Test zur Erfassung des bildungswissenschaftlichen Wissens zu optimieren und zweitens durch eine Reihe an Validierungsstudien seine Einsatzmöglichkeiten für Forschung und Bildungsmonitoring zu überprüfen. Damit baut ...    more

Das Anliegen des Projekts „BilWiss-UV“ war es, einen Test zur Erfassung des bildungswissenschaftlichen Wissens zu optimieren und zweitens durch eine Reihe an Validierungsstudien seine Einsatzmöglichkeiten für Forschung und Bildungsmonitoring zu überprüfen. Damit baut das Vorhaben auf die beiden Vorgängerprojekte „Bildungswissenschaftliches Wissen und der Erwerb professioneller Kompetenz in der Lehramtsausbildung“ (BilWiss; BMBF-Förderkennzeichen 01JH0910) sowie „Die Bedeutung des bildungswissenschaftlichen Hochschulwissens für den Berufseinstieg von Lehrkräften“ (BilWiss-Beruf; BMBF-Förderkennzeichen 01PK11007) auf. In diesen Projekten wurde ein Wissenstest entwickelt, der das bildungswissenschaftliche Wissen von Lehramtsstudierenden und -absolvent(inn)en mit den 6 Dimensionen Unterrichtsgestaltung, Lernen und Entwicklung, Diagnostik und Evaluation, Bildungstheorie, Schule als Bildungsinstitution und Lehrerberuf als Profession erfasst.    less

Duration: 01.10.2007 - 28.02.2015

Was befähigt Personen in komplexen Situationen im Sinne Nachhaltiger Entwicklung systematisch und begründet zu entscheiden, um kompetent am gesellschaftlichen Diskurs um Themen von ökologischer, ökonomischer und sozialer Relevanz teilhaben zu können (Bögeholz et al., 2004...    more

Was befähigt Personen in komplexen Situationen im Sinne Nachhaltiger Entwicklung systematisch und begründet zu entscheiden, um kompetent am gesellschaftlichen Diskurs um Themen von ökologischer, ökonomischer und sozialer Relevanz teilhaben zu können (Bögeholz et al., 2004)? Dies ist eine zentrale Frage zur Umsetzung des Kompetenzbereichs Bewertung der nationalen Bildungsstandards für die naturwissenschaftlichen Fächer (KMK, 2004). Im Projekt wird Bewertungskompetenz definiert als die Fähigkeit, komplexe Bewertungs- und Entscheidungssituationen erfolgreich bewältigen zu können. Zum einen ist dazu bereichsspezifisches und interdisziplinäres Wissen zu Nachhaltiger Entwicklung erforderlich, zum anderen sind prozedurale Kompetenzen im Hinblick auf Informationssuch- und -verarbeitungsprozesse sowie Bewertungs-, Argumentations- und Entscheidungsprozesse notwendig. Das Projekt wurde in allen drei Phasen des DFG-Schwerpunktprogramms 1293 „Kompetenzmodelle zur Erfassung individueller Lernergebnisse und zur Bilanzierung von Bildungsprozessen“ gefördert. In den drei Förderphasen wurden zunächst die beiden prozeduralen Teilkompetenzen des Modells operationalisiert und validiert (Eggert & Bögeholz, 2010; Gausmann et al., 2010; Bögeholz, Eggert, Ziese & Hasselhorn, 2017). Zum Einsatz kamen Messmodelle der Item-Response-Theorie. Es wurden Testinstrumente auf Basis des Entwicklungszyklus von Wilson (2005) entwickelt. Die entwickelten Testinstrumente wurden im Anschluss in Interventionsstudien zur Förderung von Bewertungskompetenz bei Schüler*innen eingesetzt, um Kompetenzzuwächse zu untersuchen (Eggert, Bögeholz, Watermann & Hasselhorn, 2010; Eggert, Nitsch, Boone, Nückles & Bögeholz, 2016; Eggert, Ostermeyer, Hasselhorn & Bögeholz, 2013,). Des Weiteren wurde in der dritten Förderphase eine experimentelle Validierung mit allgemeinem, analytischem Problemlösen durchgeführt (Bögeholz et al., 2017). (Projekt)     less

Duration: 2001 - 2008

Die DESI-Studie untersuchte die sprachlichen Leistungen von Schülerinnen und Schülern in der 9. Jahrgangsstufe in den Fächern Deutsch und Englisch. Die Untersuchung wurde im Jahr 2001 von der Ständigen Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland ...    more

Die DESI-Studie untersuchte die sprachlichen Leistungen von Schülerinnen und Schülern in der 9. Jahrgangsstufe in den Fächern Deutsch und Englisch. Die Untersuchung wurde im Jahr 2001 von der Ständigen Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland (KMK) als nationale Schulleistungsstudie in Ergänzung zu den PISA Studien in Auftrag gegeben. Unter Federführung des Deutschen Instituts für Internationale Pädagogische Forschung (DIPF) wurden von einem Konsortium aus Bildungsforschern und Fachdidaktikern Tests für die sprachlichen Leistungen im Deutschen und im Englischen als erste Fremdsprache entwickelt, die sich an den Curricula der Länder für die 9. Jahrgangsstufe orientierten. Mit schriftlichen Befragungen von Schülerinnen und Schülern, Eltern, Lehrkräften, Mitgliedern der Fachkollegien Deutsch und Englisch sowie Schulleitungen wurden die individuellen, familiären, unterrichtlichen und schulischen Bedingungen sprachlicher Leistungen erfasst. Videoaufnahmen im Englischunterricht ergänzten das Erhebungsdesign. Insgesamt wurden rund 11.000 Schülerinnen und Schüler der 9. Jahrgangsstufe aller Schularten des allgemeinbildenden Schulwesens mit Ausnahme der Förderschulen aus 219 Schulen mit je zwei Klassen zu Beginn und am Ende des Schuljahres 2003/04 untersucht. Durch ihre breitgefächerte Anlage ermöglicht die Studie differenzierte Aussagen über individuelle, familiäre, unterrichtliche und institutionelle Bedingungen sprachlicher Kompetenzen, die für Unterrichtsentwicklung und Schulentwicklung sowie die Bildungspolitik gleichermaßen wichtig sind. (DIPF/Projekt)    less

Duration: 01.10.2007 - 30.09.2013

Im MIRT-Projekt werden verschiedene Modelle der Item-Response-Theorie (IRT) zur Modellierung von Kompetenzen miteinander verglichen und auf Testdaten zur Messung von Fremdsprachkompetenzen im Englischen angewandt. Zunächst wurden bereits vorliegende Daten aus abgeschlosse...    more

Im MIRT-Projekt werden verschiedene Modelle der Item-Response-Theorie (IRT) zur Modellierung von Kompetenzen miteinander verglichen und auf Testdaten zur Messung von Fremdsprachkompetenzen im Englischen angewandt. Zunächst wurden bereits vorliegende Daten aus abgeschlossenen Large Scale Assessments analysiert. In der zweiten Projektphase wurden darauf aufbauend neue Testaufgaben zum Lese- und Hörverstehen mit systematisch variierten Aufgabenanforderungen entwickelt und einer Schülerstichprobe vorgegeben. In der dritten Phase steht die Auswertung der erhobenen Daten hinsichtlich Dimensionalität und Itemschwierigkeiten im Mittelpunkt. Ziel ist die Formulierung eines hinsichtlich Dimensionen und Niveaus empirisch fundierten Kompetenzmodells für rezeptive Fremdsprachkompetenzen. Darüber hinaus erfolgt eine Validierung der bei der Konstruktion verwendeten Merkmale durch unabhängige Einschätzungen sowie eine Anbindung der Skalen an die Niveaus des Gemeinsamen Europäischen Referenzrahmens für Sprachen (GER).(Projekt)    less