Zeit, Lücken zu schließen – eine mixed-methods Studie zur Rolle der Zeit im Konstrukt computergestützter C-Tests in drei Sprachen
C-Tests sind zuverlässige Testverfahren zum Messen globaler Sprachkompetenz u.a. für Einstufungszwecke, im Bildungsmonitoring und in der Zweitspracherwerbsforschung (Grotjahn, 2019). Beim C-Test werden Sprachlernende gebeten, partielle Lücken in einem Text zu ergänzen.
Der neue zeitreduzierte speeded C-Test (S-C-Test) verspricht einen effizienteren Einsatz, wurde jedoch noch nicht ausreichend untersucht. Mit ausreichend Bearbeitungszeit ausgestattet, misst der kanonische C-Test Grotjahn (2010) zufolge v.a. den Umfang deklarativen und prozeduralen Wissens, während der S-C-Test zudem den Grad der Automatisierung der Fähigkeiten und Effizienz der Informationsverarbeitung erfasst. Dadurch würde der S-C-Test mit Hörverstehen und Sprechen höher korrelieren als der C-Test, aber niedriger mit Schreiben und Lesen. So ist zu vermuten, dass dem S-C-Test ein z.T. abweichendes Konstrukt zugrunde liegt. Obwohl erste Erkenntnisse über die Rolle der Zeit im Konstrukt vorliegen (Fadaeipour & Zohoorian, 2017; Zimmermann, 2019), bleiben viele Fragen offen, insbesondere bei computergestützten C-Tests, z.B. bezüglich des Einflusses der Zeit auf die Testreliabilität und die Leistung der Lernenden abhängig von ihrem Sprachniveau sowie hinsichtlich der Rolle verschiedener Komponenten (z.B. des deklarativen Wissens) im Konstrukt zeitlimitierter C-Tests. Ferner fehlen systematische Belege der Auswirkung der Zeit auf kognitive Prozesse, die in den Strategien der Lernenden zum Ausdruck kommen.
Angesichts der entscheidenden Rolle, welche die Zeit im Konstrukt zu spielen scheint, untersucht das geplante mehrsprachige Projekt diese Rolle systematisch, um einen höheren Grad an Verallgemeinerbarkeit der Ergebnisse in Bezug auf 1) unterschiedliche Niveaustufen, 2) verschiedene Sprachen (Englisch, Deutsch, Russisch) und 3) computergestützte C-Tests zu ermöglichen. Hierzu werden vergleichende Analysen von Lernerleistungen im kanonischen und speeded-C-Test durchgeführt und mit weiteren Messungen u.a. des deklarativen und prozeduralen Wissens verglichen. Anhand einer Stichprobe (n=540) von Sprachlernenden an Hochschulen soll die Studie aufzeigen, was unterschiedlich getaktete C-Tests tatsächlich messen, indem sie auf Untersuchungen der Flüssigkeit (fluidity) des Konstrukts aufbaut und diese vertieft (Drackert & Timukova, 2020 a&b; Sigott, 2006). Es handelt sich um die erste Studie, die sich mit der Komponentenstruktur des Konstrukts befasst und diese mit Strukturgleichungsmodellen und einer prozessorientierten video-basierten Analyse von Teststrategien untersucht. Ein verbessertes Verständnis des Einflusses der Zeit auf das Konstrukt wird für die Anwendung von C-Tests von großem Nutzen sein: Forschende und Lehrende können das Instrument für verschiedene Kontexte anpassen, um begründeter über die Sprachkompetenz von Lernenden entscheiden zu können. Das Instrument wird dadurch präziser, effizienter und ökonomischer.
Das Projekt wird durch die Deutsche Forschungsgemeinschaft gefördert und startete im Mai 2022 mit einer Laufzeit von drei Jahren. Zur Projektseite der DFG (DFG Projektnummer 462766474)
Das Projekt-Team
Prof. Dr. Anastasia Drackert
ist Wissenschaftliche Direktorin von g.a.s.t. und damit die inhaltlich und wissenschaftlich Verantwortliche für die Produkte und die Forschung am Institut. Als Professorin für Sprachtestforschung und digitales Lernen lehrt sie an der Ruhr-Universität Bochum (RUB). In ihren zahlreichen empirischen Studien untersucht sie u. a. die Leistungsbeurteilungskompetenz (assessment literacy) von Fremdsprachenlehrkräften, das Konstrukt des C-Tests und digitalisierungsbezogene Kompetenzen von Lehrenden.
Anna Timukova
ist wissenschaftliche Mitarbeiterin bei g.a.s.t. sowie am Zentrum für Fremdsprachenausbildung (ZFA) an der Ruhr-Universität Bochum (RUB). Sie schloss 2009 den Master in Sprachlehrforschung an der RUB ab. In ihrer Masterarbeit untersuchte sie C-Tests als Einstufungsinstrumente in akademischen Kontexten. Ihre aktuelle Forschung fokussiert sich auf Kurzzeitmessungen von Sprachkenntnissen und -fertigkeiten, insbesondere C-Tests und schriftliche Nachahmungstests.
Anna Poberezhnaia
ist wissenschaftliche Hilfskraft im DFG-Projekt und Studentin im Masterstudiengang Empirische Mehrsprachigkeitsforschung an der Ruhr-Universität Bochum (RUB) und der TU Dortmund. Außerdem arbeitet sie als wissenschaftliche Hilfskraft im Arbeitsbereich Sprachbildung und Mehrsprachigkeit der Fakultät für Philologie der RUB und im Vorstand der Deutschen Gesellschaft für Fremdsprachenforschung (DGFF). Dort unterstützt sie unter anderem verschiedene Forschungsprojekte und erstellt wöchentliche Newsletter.
Ehemalige Mitarbeitende
- Darja Felberg
- Franziska Möller
- Ilka Plesse
Meilensteine
Juli 2024: Auf dem 45. Language Testing Research Colloquium (LTRC) in Innsbruck, Österreich sollen die ersten Ergebnisse der Hauptstudie vorgestellt werden.
August bis Dezember 2023: Für die Hauptstudie wurden an mehreren Terminen Daten von ca. 490 Englisch-, Deutsch- und Russischlernenden erhoben.
04.12.2023: Prof. Dr. Anastasia Drackert berichtete über das Projekt in Leipzig auf der ITT Annual Lecture: Abstrakt, ITT Annual Lecture 2023
01.09.2023: Die Ergebnisse der Pilotstudie wurden auf der 32. EuroSLA-Konferenz in Birmingham, England vorgestellt: Präsentation, EuroSLA 2023
04.07.2023: Die Ergebnisse aus der Pilotstudie wurden intern im g.a.s.t.-Kolloquium vorgestellt.
16.06.2023: Die Ergebnisse aus der Pilotstudie wurden auf der 19. EALTA-Konferenz in Helsinki, Finnland vorgestellt.
Zur Präsentation, EALTA 2023
Februar bis Mai 2023: An mehreren Pilotierungsterminen werden die ersten Daten von ca. 60 Englisch-, Deutsch und Russischlernenden erhoben und ausgewertet.