Impulsvortrag: Qualitätsmanagement von MC-Aufgaben (Dr. Marlit A. Lindner)

Im zweiten Impulsvortrag erläuterte Frau Dr. Lindner die Problematik einer Anwendung von Testwiseness-Strategien bei Multiple-Choice-Prüfungen durch Studierende. Unter dem Begriff Testwiseness versteht man die Fähigkeit von Prüflingen, Eigenschaften standardisierter Testformate strategisch auszunutzen, um ein besseres Prüfungsergebnis zu erzielen (vgl. Lindner, Strobel & Köller, 2015). Mit anderen Worten: (Manche) Studierende können bei standardisierten Testformaten bessere Ergebnisse erzielen, indem sie Fehler und Ungenauigkeiten der Dozierenden bei der Aufgabenkonstruktion strategisch ausnutzen. Beispielsweise neigen Prüflinge ohne Wissen u.a. dazu, Antworten in mittlerer Position oder herausstechende (z.B. längste) Antworten auszuwählen. Diese sind tatsächlich häufiger richtig. Zu weiteren typischen Fehlern bei der Aufgabenerstellung, die den Studierenden die Antwortwahl erleichtern, gehören grammatikalisch (un)passende Antworten, logische Abhängigkeiten zwischen Aufgabenstamm und richtiger Lösung, sowie absolute und moderate Begriffe als Indikatoren für falsche bzw. korrekte Antworten.

Frau Dr. Lindner wies in ihrem Vortrag auch auf die mögliche Gefahr hin, dass die Erwartung von standardisierten Multiple-Choice-Aufgabenformaten die Lernstrategien der Studierenden bei der Vorbereitung auf eine Prüfung beeinflusst. Beispielsweise könnte die Erwartung, durch Raten und Testwiseness-Strategien zu besseren Ergebnissen zu kommen, oberflächlicheres Lernen provozieren. Frau Dr. Lindner berichtete hierzu auch Befunde aus aktuellen Studien. Daher sollten sowohl geschlossene als auch offene Fragen in Prüfungen eingesetzt werden, um die Studierenden zum sorgfältigen Lernen anzuregen.

Da die Anfälligkeit von Aufgaben für Testwiseness-Strategien stark zur Verzerrung der Prüfungsergebnisse beiträgt, sollen Dozierende stets die Qualitätsverbesserung ihrer Prüfungsaufgaben anvisieren. Die Referentin machte dafür einige Vorschläge. In Hinsicht auf die Qualitätssicherung rät Frau Dr. Lindner dazu, kollegiale Begutachtung erstellter Aufgaben zu praktizieren, sich von Studierenden Rückmeldung zu bereits durchgeführten Prüfungen einzuholen oder sie unter bestimmten Voraussetzungen sogar in die Konzeption von zukünftigen Prüfungsaufgaben einzubinden. Zudem wies Frau Dr. Lindner auf das Potenzial von Aufgabendatenbanken zum Austausch fachspezifischer Prüfungsfragen unter den Universitäten, sowie Leitlinien zur Gestaltung guter MC-Fragen (vgl. Item-Writing Guidelines) und die Bedeutung von Fortbildungsangeboten hin. In der an den Vortrag anschließenden Diskussion kristallisierten sich entsprechende Bedürfnisse bezüglich des Qualitätsmanagements von MC-Aufgaben auf Seiten der Prüfungserstellenden heraus. Insbesondere der Aufbau von Aufgabendatenbanken und die Erweiterung von Fortbildungsmöglichkeiten wurden von vielen Versammelten gewünscht bzw. positiv beurteilt. Gleichzeitig wurden aber auch die Hindernisse in der Umsetzung des Qualitätsmanagements diskutiert, die vermutlich kurzfristig nicht zu beheben sind. Als größte Probleme betrachten die anwesenden Dozierenden hierbei die mangelnde Infrastruktur zur Durchführung von E-Prüfungen wie auch die Ressourcenknappheit, die aus deren verschiedenen Arbeitspflichten neben der Lehre resultiert, und sich letztendlich auf die Qualität der gestellten Prüfungen auswirkt.

Zum Weiterlesen:

Lindner, M. A., Strobel, B. & Köller, O. (2015). Multiple-Choice-Prüfungen an Hochschulen? Ein Literaturüberblick und Plädoyer für mehr praxisorientierte Forschung. Zeitschrift für Pädagogische Psychologie, 29, 133–149. doi: 10.1024/1010-0652/a000156