Technologiebasiertes kompetenzorientiertes Prüfen (TeKoP)

Project leaderWuttke, Eveline (GND-ID: 120565455; ORCID: 0000-0003-4208-8744); Schumann, Matthias; Seeber, Susan

ContributorsMeiners, Hanna ( ORCID: 0000-0001-7499-9345); Hartmann, Philipp; Turhan, Lütfiye

Co-operating institutionsGoethe-Universität Frankfurt am Main
Georg-August-Universität Göttingen

Contacttekop@uni-goettingen.de

Other titleTechnology-based Competence-oriented Testing (TeKoP)

Websitewww.ascot-vet.net/ascot/de/ascot-projekte/tekop/tekop_node.html

KeywordsDeutschland; Technologiebasiertes Testen; Referendarin; Industriekaufmann; Vortest; Kompetenzentwicklung; Problemlösen; Modellierung; Lehramtsstudent; Computernutzung; Technologieunterstütztes Lernen; Referendar; Computerunterstütztes Verfahren; Berufliche Kompetenz; Berufsausbildung; Lehramtsstudentin; Bewertung; Effekt; Medienkompetenz; Trainingsmaßnahme; Kaufmännische Ausbildung

uncontrolled KeywordsIndustriekaufleute; Kompetenzmodell

FundingBMBF, BIBB

Die hier vorgestellte qualitative Erprobungsstudie ist eine Teilstudie im Rahmen des Forschungsprojekts "Technologiebasiertes kompetenzorientiertes Prüfen" (TeKoP). Gegenstand der Studie war die Evaluation von problemlösekompetenzorientierten und technologiebasierten Aufgaben für zwei kaufmännische Ausbildungsberufe (Industriekaufleute und Kaufleute für Büromanagement). Die im Rahmen der qualitativen Erprobungsstudie entstandenen Think-Aloud-Interviews hatten das Ziel der kognitiven Validierung der Aufgaben, die durch eine qualitative kriteriale Beurteilung der Problemhaltigkeit der Aufgaben ergänzt wird. Weiter sollten durch die Studie zentrale Probleme bei der Aufgabenlösung, für die Zielgruppe nicht angemessene Aufgabenschwierigkeit sowie unklare Instruktionen erfasst werden. (Projekt/DIPF)

Study leaderWuttke, Eveline (GND-ID: 120565455; ORCID: 0000-0003-4208-8744); Schumann, Matthias (GND-ID: 122142179); Seeber, Susan (GND-ID: 122159330)

ContributorsMeiners, Hanna ( ORCID: 0000-0001-7499-9345); Hartmann, Philipp; Turhan, Lütfiye (GND-ID: 130985318)

Contactwuttke@em.uni-frankfurt.de

Research designCase Study Design
Cross-section
details: Laut-Denk-Protokoll; Befragung

Collection modeInterview: Face-to-face Interview
Transcription: Audio transcription
Other: Field study

Geographic coverageGermany (Hesse; Lower Saxony)

Universe Trainees

SamplingGelegenheitsstichprobe

Sampled UniverseAuszubildende (n=26)

FundingBMBF, ASCOT+

Die hier vorgestellte quantitative Erprobungsstudie gilt als eine Teilstudie im Rahmen des Forschungsprojekt TeKoP (technologiebasiertes kompetenzorientiertes Prüfen). Gegenstand der Studie war die Evaluation von problemlösekompetenzorientierten und technologiebasierten Aufgaben für zwei kaufmännische Ausbildungsberufe (Industriekaufleute und Kaufleute für Büromanagement). Das vorrangige Ziel lag neben der Prüfung der Aufgaben in der Itemparameterschätzung (Rasch Modellierung). Neben der Aufgabenbearbeitung wurden weiter ausführliche Daten (u. a. Daten zur Sozioökonomie, Daten zur Ausbildung, Daten zu bestehenden Kompetenzen) über einen Fragebogen erhoben.

Research designQuasi-Experimental Design
Cross-section

Collection modeSelf-administered Questionnaire: CASI (Computer Assisted Self-Interview)
Measurements and Tests: Educational Measurements and Tests (Computer Assisted Test)
Measurements and Tests: Psychological Measurements and Tests (Computer Assisted Test)

Geographic coverageGermany (Baden-Wuerttemberg; Hesse; Lower Saxony; North Rhine-Westphalia; Rhineland-Palatinate)

Universe Trainees

SamplingProbability sample: Cluster sample (Simple cluster sample)

Sampled UniverseAuszubildende zu Industriekaufleuten und Kaufleuten für Büromanagement im zweiten oder dritten Ausbildungsjahr an kaufmännischen Schulen

Die hier vorgestellte Trainingsstudie wurde im Rahmen des Forschungsprojekts TeKoP (technologiebasiertes kompetenzorientiertes Prüfen) durchgeführt. Gegenstand der Studie war die Evaluation eines zuvor entwickelten Trainings zur Förderung der problemlösekompetenzorientierten und technologiebasierten Aufgabenerstellung für Mitglieder der paritätisch besetzten Prüfungsausschüsse der zwei kaufmännischen Ausbildungsberufe (Industriekaufleute und Kaufleute für Büromanagement). Zudem wurde das Training in einer Erweiterung der Zielgruppe auch weiterem beruflichen/ berufsschulischen Ausbildungspersonal (aktiv, bzw. angehend) angeboten. Das Ziel der Erhebung lag in der Bewertung der Wirksamkeit des eingesetzten Trainings auf den Wissens- und Kompetenzzuwachs im Verlauf des Trainings. Die Erhebungen wurden mit den Trainingsteilnehmenden der 19 unabhängigen Trainingsrunden in Deutschland durchgeführt. Die Erhebung erfolgte an zwei Erhebungszeitpunkten im Pre-Post-Design vor sowie nach dem Training. Im Rahmen der Erhebung wurden die folgenden Daten an beiden Erhebungszeitpunkten erfasst: Daten zur Sozioökonomie, Daten zur Erfahrungen mit / der Einstellung zu Lernmanagementsystemen, Daten Trainingserwartung, Daten eines Wissenstests zur problemhaltigen Aufgabenmerkmalen und Gütekriterien sowie Daten zur Selbsteinschätzung der Medienkompetenz. Zudem wurden in der Post-Befragung weitere Daten (u. a. Technologieaffinität und Teilnehmerreaktion) über einen Fragebogen erhoben.

Research designQuasi-Experimental Design
Interventionsstudiendesign mit Pre-Post-Erhebungen

Collection modeMeasurements and Tests: Educational Measurements and Tests (Computer Assisted Test)
Self-administered Questionnaire: CASI (Computer Assisted Self-Interview)

Geographic coverageGermany

Universe Teachers; Educational staff; College students; Preservice teachers; University graduates; Career starters; Adults

SamplingMixed probability and non-probability sample

Sampled UniverseAusbildungspersonal (Lehramtsstudierende/Referendare, Ausbilder/Lehrkräfte)

Project- and study-related publications (selection)Wuttke, E., Seeber, S., Schumann, M., Niegemann, H., Turhan, L., Geiser, C. & Hartmann, P. (in Vorbereitung): Technologiebasiertes und problemorientiertes Prüfen in kaufmännischen Berufen – Konzeption eines Fortbildungskonzeptes für Lehrer*innen und Ausbilder*innen.

Seeber S. & Wuttke, E. (2022): Problemorientierte Lern- und Prüfungsaufgaben in der kaufmännischen Ausbildung. Ausbilderhandbuch, 259. Erg-.Lfg.-Dezember 2022, Absatz 5.4.3.3.

Meiners, H., Hartmann, P., Niegemann, H., Seeber, S., Wuttke, E. & Schumann, M. (2022). Digitale Medienkompetenz als Voraussetzung für die Erstellung von Prüfungs-aufgaben. In S. Schumann, S. Seeber & S. Abele (Hrsg.), Digitale Transformation in der Berufsbildung. Konzepte, Befunde und Herausforderungen (Wirtschaft - Beruf - Ethik, Band 41, S. 123-144). Bielefeld: wbv Media.

Wuttke, E., Seeber, S., Geiser, C. & Turhan, L. (2022). Zur Problemhaltigkeit von Aufgaben in kaufmännischen Abschluss- und Zwischenprüfungen - Ergebnisse aus Aufgabenanalysen. Zeitschrift für Berufs- und Wirtschaftspädagogik, 118 (1), 25-52.

Seeber, S. & Wuttke, E. (2022). Technologiebasierte, problemorientierte Lern- und Prüfungsaufgaben entwickeln. Bildung und Beruf, 5, 310-312.

Niegemann, H., Wuttke, E., Seeber, S. & Schumann, M. (2021): Emotional Design: Überlegungen zur Gestaltung von technologiebasierten und komplexen Aufgaben in kaufmännischen Abschlussprüfungen. Berufsbildung. Zeitschrift für Theorie-Praxis-Dialog, 187, 16-19.

Abele, S., Deutscher, V., Nickolaus, R., Rausch, A., Seeber, S., Sembill, D. et al. (2021). Potenziale technologiebasierter Kompetenztests der ASCOT-Initiative aus der Perspektive der Curriculum-Instruction-Assessment-Triade. In K. Beck & F. Oser (Hrsg.), Resultate und Probleme der Berufsbildungsforschung. Festschrift für Susanne Weber (S. 13-41). Bielefeld: wbv.

Seeber, S. & Greiwe, C. (2021). Entwicklung und computerbasierte Umsetzung von Problemlöseaufgaben für die kaufmännische Ausbildung: Hintergrund und ziele eines Trainingskonzepts für Prüferinnen und Prüfer. In R. Emmermann, S. Fastenrath & T. Spalke (Hrsg.), digital unterrichten. Praxisnah - toolbasiert - innovativ (Bibliothek der Schulpraxis, 1. Aufl., S. 43-47). Haan-Gruiten: Europa-Lehrmittel.

Searching for publications in the German Education Portal