Testinstrument: Multiple Document Comprehension-Test (MDC-Test)

Der MDC-Test erfasst die fächerübergreifende Fähigkeit von Studierenden, aus mehreren Textdokumenten eine umfassende mentale Repräsentation eines beschriebenen Themas zu konstruieren. Der Test gibt dabei weitgehend glaubwürdige Dokumente und Informationsquellen vor, die miteinander verglichen, integriert und verknüpft werden müssen. Das bedeutet auch, dass er nicht Fähigkeiten zur Suche und Auswahl von Dokumenten erfasst. Der MDC-Test ist in sogenannte Units gegliedert, die aus 2 bis 3 Dokumenten und Items bestehen. Insgesamt sind 5 Units mit 67 Items verfügbar. Die Inhalte der Units befassen sich mit Themen aus verschiedenen Bereichen (z. B. Naturwissenschaft, Literaturwissenschaft) und variieren in der Anzahl der vorliegenden Dokumente und der Gesamtdokumentlänge. Zwei Units erfordern zudem das Verfassen eines kurzen Aufsatzes (Essay), dessen Inhalt jedoch nicht in die Testauswertung eingeht. Die Dokumentinhalte sind zudem größtenteils erfunden (Ausnahme: Unit „Universum“), um MDC möglichst unabhängig von den Vorkenntnissen der Studierenden zu messen. Die Items weisen ein Single-Choice Antwortformat auf (31 Items mit zwei Antwortalternativen; 36 Items mit vier Antwortalternativen). Für eine korrekte Itemantwort müssen Informationen aus mindestens zwei Dokumenten einer Unit berücksichtigt werden. Die Itemantworten werden dichotom kodiert (0 = falsch gelöst, 1 = richtig gelöst). Jede Unit beginnt damit, dass die Testteilnehmer:innen über die Anzahl der Dokumente und Items informieren werden und ein Leseziel vorgegeben wird (z. B. die Texte so zu lesen, als ob eine Präsentation für ein Seminar gehalten werden soll). Die Teilnehmer:innen können frei zwischen den Texten und Items navigieren. In Units, die einen Aufsatz enthalten, muss zunächst der Aufsatz geschrieben werden, bevor die Items bearbeitet werden können. Jedes Textdokument umfasst eine Schaltfläche, die ein zusätzliches Popup-Dialogfeld mit Informationen über die Quelle des Dokuments öffnet. Die Teilnehmer:innen können Textpassagen im Dokument hervorheben und Kommentare neben den Text setzen. Darüber hinaus erhalten Teilnehmer:innen eine visuelle Rückmeldung über ihre Bearbeitungszeit und den Aufgabenfortschritt. Jede Unit weist ein spezifisches Zeitlimit auf (zwischen 27 – 38 Minuten), das auf der Startseite angekündigt wird. Zehn Minuten vor Ablauf des Zeitlimits erhalten die Teilnehmer:innen einen Reminder, dass das Zeitlimit ausläuft. Nach Ablauf des Zeitlimits beendet sich die Unit automatisch. (Projekt)

StudieProzessbasierte Diagnostik des Textverstehens mit multiplen Dokumenten (Multiple Documents Literacy)

TestentwicklungSchoor, Cornelia / Hahnel, Carolin / Artelt, Cordula / Goldhammer, Frank / Kröhne, Ulf

InhaltsbereicheInhalte als von Quellen generiert repräsentieren und Quelle-Inhalt-Kombinationen vergleichen ,Inhalte über Texte hinweg miteinander verknüpfen,Inhalte über Texte hinweg vergleichen,Quellen einschätzen und vergleichen

KompetenzbereicheVerständnis multipler Dokumente

ZielgruppeStudierende

Schulformkeine Angaben vorhanden

Bearbeitungszeitca. 30 min pro Unit, zwei Units empfohlen, gesamt ca. 75 min

Erstanwendung2017

EinsatzortBayern, Hessen, Rheinland-Pfalz

Stichprobe500

Anzahl der Items5

Eingesetzte AnalysesoftwareTAM (R-Paket; Robitzsch et al., 2019)

TestheftdesignBalanced Incomplete Block Design (BIBD)

Skalierung/MessmodellRaschmodell

Definition NullpunktDurchschnittliche Fähigkeit der Personen

SchätzerWLE

AnmerkungIn Publikationen ist der Test durch Verweis auf das Diagnostica-Paper (Schoor, Hahnel, Artelt et al., 2020) und/oder das Projektband-Kapitel (Schoor, Hahnel, Mahlow et al., 2020) zu zitieren, während für den Test selbst der Zitationsvorschlag des FDZ Bildung heranzuziehen ist. Eine wie auch immer geartete Veränderung, Weiterentwicklung oder Übersetzung des Testinstruments bedarf der expliziten Absprache und Genehmigung mit der Autorengruppe. Bitte informieren Sie zu diesem Zweck das FDZ Bildung (fdz-bildung@dipf.de), um Kontakt mit der Autorengruppe herzustellen. Bitte beachten Sie auch das Testnutzungskonzept im Downloadbereich dieses Tests.

Veröffentlichungsdatum22.12.2023

Persistent Identifier10.7477/506:316:57 (DOI)

ZitationSchoor, C.; Hahnel, C.; Artelt, C.; Goldhammer, F.; Kröhne, U. (2023). Multiple Document Comprehension-Test (MDC-Test) [Testinstrument: Version 1.0]. Erstanwendung 2017. Frankfurt am Main: Forschungsdatenzentrum Bildung am DIPF. http://dx.doi.org/10.7477/506:316:57

ZugänglichkeitDownload nach Registrierung und Antragstellung und Zustimmung der Urheber

Die Aufgaben dieses Testinstruments liegen in einem geschützten Bereich. Der Zugang zu den Aufgaben erfordert die Registrierung und anschließende Antragstellung im FDZ Bildung sowie die Zustimmung der Urheber. Das Einholen der Zustimmung zur Nachnutzung bei den Urhebern erfolgt durch das FDZ Bildung und kann nach Eingang ihres Antrages eine vierzehntägige Bearbeitungszeit in Anspruch nehmen. Eine Verwendung der Instrumente, ganz oder in Teilen setzt die Achtung des Urheberrechts voraus. Urheber und Quelle sind entsprechend zu zitieren. Es gelten die allgemeinen Nutzungsbedingungen des Anbieters.