Test scaling and validation

Laufzeit: 01.07.2019 - 31.12.2019

Der computerbasierte EVON-Test wurde im Auftrag des Erasmus+ Projekts ILO (Information Literacy Online, https://informationliteracy.eu/) in sechs Sprachen entwickelt (EN, DE, ES, CA, HR, SL). Seitdem wird er im multilingualen Massive Open Online Course (MOOC) von ILO al...    mehr

Der computerbasierte EVON-Test wurde im Auftrag des Erasmus+ Projekts ILO (Information Literacy Online, https://informationliteracy.eu/) in sechs Sprachen entwickelt (EN, DE, ES, CA, HR, SL). Seitdem wird er im multilingualen Massive Open Online Course (MOOC) von ILO als Self-Assessment-Instrument eingesetzt. Der EVON-Test umfasst acht Items und ein Tutorial, die eine Suchmaschinenumgebung simulieren. Testteilnehmende werden bei der Bearbeitung der Items gebeten, für eine vorgegebene Suchaufgabe den Link bzw. die Webseite zu identifizieren, die sowohl relevante als auch vertrauenswürdige Informationen zur Lösung der Suchaufgabe enthalten. Über den EVON-Test werden somit Bewertungsfähigkeiten im Umgang mit Online-Informationen abgebildet. Das gleichnamige Projekt EVON ist eine Zusatzstudie, die das Projekt ILO erweitert und zur Pilotierung und ersten Validierung des deutschsprachigen Instruments durchgeführt wurde. Das Projekt umfasst Daten aus einer etwa halbstündigen Online-Testung mit Studierenden. Dabei wurden sowohl die Testergebnisse der Teilnehmenden (Ergebnisdaten) als auch ihre Interaktionen mit dem Testsystem als Klickdaten mit Zeitstempeln aufgezeichnet (Logdaten). Anhand dieser Daten wurde die deutschsprachige Version des EVON-Tests skaliert und die Skalierungsergebnisse wurden zusammen mit einer ersten Validierung open access veröffentlicht (s.u.).     weniger

Laufzeit: 01.01.2016 - 31.12.2019

Um den Anforderungen im Studium und im späteren Beruf gerecht zu werden, müssen Studierende aller Fächer in der Lage sein, sich selbständig in verschiedene Themenbereiche einzuarbeiten und entsprechend der Aufgabenstellungen Wesentliches heraus- und aufzuarbeiten. Gerade im u...    mehr

Um den Anforderungen im Studium und im späteren Beruf gerecht zu werden, müssen Studierende aller Fächer in der Lage sein, sich selbständig in verschiedene Themenbereiche einzuarbeiten und entsprechend der Aufgabenstellungen Wesentliches heraus- und aufzuarbeiten. Gerade im universitären Kontext sind sie dabei üblicherweise mit mehreren Quellen und somit (Text-)Dokumenten konfrontiert (z. B. als Ergebnis einer Datenbank- oder Internetrecherche), die sich je nach Ansicht der Verfasser gegebenenfalls widersprechen und aus denen sie relevante Informationen herausfiltern und ggf. integrieren müssen. Diese Anforderungen gehen insofern über das Verstehen einzelner Texte hinaus, als dass Informationen aus verschiedenen Quellen miteinander in Beziehung gesetzt werden müssen und dafür ggf. eine Bewertung der Glaubwürdigkeit der Informationen vorgenommen werden muss. Im Projekt MultiTex wurde ein computerbasiertes Instrument zur Erfassung der Kompetenz des Textverstehens multipler Dokumente (Multiple Documents Comprehension, MDC) für Studierende entwickelt und zum Teil validiert. Ein besonderer methodischer Fokus lag dabei auf der Verwendung zusätzlicher prozessbasierter Diagnostik. Dementsprechend wurden im Vorhaben prozessbasierte Maße zum einen als zusätzliche diagnostische Information genutzt, zum anderen werden sie für die Identifikation von Bearbeitungsstrategien sowie für die Überprüfung von Theorien des multiplen Textverstehens verwendet. (Projekt)    weniger