Trotz dieser Vorteile sind automatisch auswertbare Aufgaben insbesondere aus didaktischer Perspektive umstritten. Im Folgenden geben wir Ihnen einen Überblick über Vor- und Nachteile dieser Aufgabenform und erläutern, wann der Einsatz sinnvoll ist und was dabei berücksichtigt werden sollte.

Rahmenbedingungen

• Automatisch auswertbare Aufgaben eignen sich vor allem für die Überprüfung kognitiver Lernziele. Durch geeignete Aufgabenstellungen lassen sich jedoch über Fakten- und Detailwissen hinaus auch Verstehen, Anwenden und Beurteilen überprüfen (vgl. Jacobs 2005, Krebs 2004, Vogt & Schneider 2009).
• Automatisch auswertbare Aufgaben können mithilfe unterschiedlicher Werkzeuge erstellt werden. Inzwischen bieten die meisten Lernmanagementsysteme Funktionen hierfür an; darüber hinaus gibt es jedoch auch Tools, die unabhängig von einem Lernmanagementsystem eingesetzt werden können.
• Werden automatisch auswertbare Aufgaben zur Erhebung von Prüfungsleistungen eingesetzt, so müssen die entsprechenden Rahmenbedingungen beachtet werden, z.B. die Bereitstellung der geeigneten Räumlichkeiten und der technischen Infrastruktur an der Hochschule, Gewährleistung der Beaufsichtigung, Übereinstimmung mit der geltenden Prüfungsordnung sowie der datenschutzrechtlichen und weiteren juristischen Anforderungen (vgl. E-Klausur).

Lösung

Je nach Konzeption bzw. Lernzielen lassen sich Tests und Prüfungen vollständig oder zumindest teilweise automatisch auswerten. Zur Durchführung und Auswertung werden spezielle Test- bzw. Prüfungssoftwaretools eingesetzt. Für Lehrende entfällt damit die Korrekturarbeit entweder ganz oder kann deutlich gesenkt werden, wenn nur noch Teile der Leistungsnachweise manuell korrigiert werden müssen. Studierenden steht die Auswertung von Klausuren zeitnah zur Verfügung. Bei vollständig automatisch auswertbaren Prüfungen kann der Prüfling sogar unmittelbar nach Ablegen der Prüfung sein vorläufiges Prüfungsergebnis erfahren, das dann nur noch anschließend bestätigt werden muss.

Details

Automatisch auswertbare Prüfungen sind standardisierte Testverfahren. Sie bestehen in der Regel aus geschlossenen Aufgabentypen, d.h. der Prüfling erhält mit den Fragen verschiedene Antwortvorgaben, aus denen er eine oder mehrere richtige auswählen muss. Neben Textaufgaben gehören dazu auch Bildmarkierungsaufgaben, bei denen eine oder mehrere Stellen auf einem Bild oder einer Grafik markiert werden müssen. Es können aber auch offene Fragen automatisch ausgewertet werden, die nur kurze Lösungseingaben verlangen. Hierbei werden einzelne Begriffe oder Zahlen überprüft.

Die folgende Tabelle (in Anlehnung an Vogt & Schneider 2009, S. 10) gibt einen Überblick über typische automatisch auswertbare Aufgabenformen. Deren Zuordnung zu bestimmten Lernzielen ist als Anregung zu verstehen, da es schwierig ist, generelle Aussagen zur Auswahl von Aufgabentypen zu treffen. Hilfreich ist dabei immer die möglichst genaue Definition der Lernziele.

Ein grundsätzlicher Vorteil elektronischer Lernmaterialien ist die Möglichkeit, unterschiedliche Medien einzubinden und damit einen Mehrwert zu schaffen, der auf Papier nicht möglich wäre. Dies trifft auch für automatisch auswertbare Aufgaben zu. So können z.B. (ggf. zoombare) Bilder in Aufgabenstellungen oder Antwortalternativen eingebunden werden; bei Bildmarkierungsaufgaben sind sie sogar integraler Bestandteil der Frage. Auch die Verwendung dynamischer Medien wie Audiodateien oder Videoclips ermöglicht je nach Fachgebiet und Zielstellung der Prüfung eine Erweiterung des Aufgabenspektrums. Denkbar ist z.B. die Einbindung auditiver Elemente in Sprachtests oder die Veranschaulichung von (Bewegungs-)Abläufen, etwa in physikalischen, medizinischen oder sportwissenschaftlichen Zusammenhängen (vgl. Vogt & Schneider 2009).

Prüfungen mit standardisierten Antwortalternativen sind bislang im deutschsprachigen Raum noch nicht allzu verbreitet und werden häufig auch kritisch gesehen, wohingegen sie etwa in Amerika integraler Bestandteil des Hochschulwesens sind (vgl. Wolf 2007). In einigen Fachbereichen, z.B. der Medizin oder der Psychologie, wird jedoch auch in Deutschland seit langem relevantes Fachwissen in Form von Lernzielkatalogen zusammengestellt und anhand standardisierter Tests abgefragt. Um Akzeptanz für Tests und Prüfungen mit automatisch auswertbaren Aufgaben zu schaffen, wird – über die Argumente Arbeitsentlastung und Zeitersparnis hinaus – deren Qualität eine wesentliche Rolle spielen.

Stolpersteine

Das Erstellen von Tests und Prüfungen mit automatisch auswertbaren Aufgaben (sog. Items) stellt an Lehrende vollkommen andere Anforderungen als die Entwicklung offener Fragen für eine Klausur. Dies betrifft sowohl die Auswahl des Typs und die Formulierung jeder einzelnen Aufgabe als auch die sinnvolle Zusammenstellung der Aufgaben (sog. Items) für die gesamte Prüfung. Dabei müssen jeweils die Vorteile, aber auch die Einschränkungen der unterschiedlichen Frageformen berücksichtigt werden.

• Der Zeitaufwand für die Erstellung automatisch auswertbarer Aufgaben wird oft unterschätzt. Experten geben – zumal für Anfänger – Zeiten von bis zu einer Stunde für die Konzeption einer guten Aufgabenstellung an (z.B. Ehlers 2010).
• Eine Gefahr bei der Erstellung von Items ist das bloße Abfragen auswendig gelernter Einzelfakten, ohne dass hierfür erhöhte Denkleistungen erbracht werden müssen. Um dies zu verhindern, sollten die Aufgaben stets auf die Lerninhalte und spätere (berufliche) Anforderungen abgestimmt sein und das Nachdenken über den Sachverhalt anregen.
• Um eine repräsentative Überprüfung zu gewährleisten, sollte das relevante Wissen möglichst präzise definiert und idealerweise in Form eines gewichteten Verzeichnisses bereitgestellt werden.
• Besonders bei Multiple-Choice-Aufgaben besteht die Gefahr ungewollter Lösungshinweise (sog. Cues) in den Aufgabenstellungen. Fragen sollten deshalb stets so formuliert sein, dass ein bloßes Erraten der richtigen Antworten unmöglich ist.

Vorteile

• Standardisierte Tests ermöglichen eine weitgehend objektiv vergleichbare Bewertung.
• Fragen können individuell oder per Zufallsgenerator zusammengestellt werden, wodurch ein Abschreiben fast unmöglich wird.
• Die Studierenden können die Lösungen beliebig oft überarbeiten, ohne Spuren zu hinterlassen. Dies ist besonders bei Lückentexten und bei Bildmarkierungsaufgaben relevant.
• Korrekturprobleme aufgrund unleserlicher Antworten entfallen.
• Der Korrektur- und Personalaufwand wird erheblich reduziert, ebenso wie die Wartezeit auf Prüfungsergebnisse.
• Selbsttests zur individuellen Wissensüberprüfung bieten den Vorteil eines sofortigen Feedbacks, das je nach individueller Einstellung in den Lernprozess integriert werden kann.
• Elektronische Prüfungen ermöglichen neue Formen der Evaluation, die sowohl die Qualität der Lehre als auch die Qualität der Prüfungen verbessern können, z. B. geben sie Aufschluss darüber, bei welchen Prüfungsteilen es am häufigsten Probleme gibt.
• Über die Prüfungssoftware lassen sich viele verschiedene Aufgabentypen umsetzen. Es lassen sich verschiedene Medien (Bilder, Audio-, Video, Animationen) einbinden.
• Einmal entwickelte Aufgaben können in einem Fragenpool gesammelt, verwaltet und dann wiederverwendet werden. Bei der Entwicklung von Fragepools können auch mehrere Lehrende zusammenarbeiten.

Nachteile

• Standardisierte Tests können nur standardisiertes Wissen abfragen. Sie überprüfen jedoch kein Transferwissen. Denkprozesse und Lösungsstrategien lassen sich mit ihrer Hilfe kaum abbilden. Genauso wenig eignen sie sich für die Erfassung und Bewertung von Kreativität, Kommunikationstalent oder Teamfähigkeit (Krebs 2004).
• Schreibfehler bzw. Tippfehler werden von der zur Auswertung eingesetzten Software nicht immer erkannt und machen gegebenenfalls eine manuelle Überprüfung notwendig. In einigen Fächern könnte hier das (z.B. in der Medizin inzwischen häufig eingesetzte) sog. Lange Listen System (Long Menu System) Abhilfe schaffen. Dabei wird eine „unüberschaubar“ lange Liste von Antworten vorgegeben, aus der durch Eingabe des Anfangsbuchstabens die richtige herausgesucht wird. Auf diese Weise wird das Problem der Fehlerintoleranz umgangen, zugleich erschwert die große Zahl von Antwortalternativen das Erraten der richtigen Lösung (vgl. Schuwirth et al. 1996 und Huwendiek et al. 2006).
• Die Konzeption und Erstellung geeigneter Aufgaben ist relativ zeitintensiv.
• Organisation und Durchführung von elektronischen Prüfungen erfordern genauso wie konventionelle Klausuren Aufsichts- und Verwaltungspersonal.

Beispiele

In der Regel sind Tests nur für zugangsberechtigte Personen einsehbar. Dies trifft nicht nur für Prüfungen zum Erwerb von Leistungsnachweisen zu, sondern auch für viele Selbsteinschätzungstests, die z.B. in geschlossenen Kursen eingesetzt werden. Die folgenden Beispiele sind deshalb keine „echten“ Tests, geben aber gute Hinweise und Anhaltpunkte.

• Unterschiedliche Beispielprüfungen hat der eAssessment-Dienst der Universität Bremen auf der Seite Informationen für Studierende zusammengestellt.
• Auf der Seite Cambrige Assessment der University of Cambridge finden sich unter der Rubrik Admission Tests Beispiele für Multiple-Choice-Tests, die nicht nur Fakten, sondern z.B. auch „Thinking Skills“ abfragen.
• Automatisch auswertbare Tests zur Selbsteinschätzung in verschiedenen Fachbereichen finden Sie an unterschiedlichen Hochschulen. Exemplarisch hinweisen möchten wir auf den von der Fakultät Technik der Dualen Hochschule Baden-Württemberg Mannheim entwickelten automatisch auswertbaren Mathematik Onlinetest für Studieninteressierte, in dem unter Einbindung animierter, praxisbezogener Aufgabenstellungen mathematisches Grundlagenwissen überprüft wird. Der Test MathX³ ist online frei zugänglich und kann anonym genutzt werden. Den Erfahrungsbericht zu MathX³ auf e-teaching.org finden Sie hier.

Werkzeuge

Die meisten Lernmanagementsysteme bieten inzwischen Funktionen zur Erstellung von automatisch auswertbaren Aufgaben, z.B. die Produkte der folgenden Anbieter:

Kommerzielle Anbieter:

• Codiplan
• Lplus GmbH
• NetTest (Lerndesign GmbH)
• Questionmark Perception (Telerat GmbH)
• Respondus (WebCT Inc.)

Lizenzfreie Systeme:

• eduplone eXam (Lernplattform eduplone)
• Online Exam (Ilias)
• UbiLearn Testtool (UbiLearn)
• ViPS (StudIP)

Mit den folgenden Autorenwerkzeugen lassen sich unabhängig von Lernmanagementsystemen automatisch auswertbare Aufgaben erstellen:

• Articulate Quizmaker
• Captivate
• HotPotatoes
• Question Writer

Weitere Informationen

• Das Zentrum für Multimedia in der Lehre der Universität Bremen hat Tipps zur Erstellung von Multiple-Choice-Fragen zusammengetragen.
• Außer dem Leitfaden Wegweiser für gute Multiple-Choice-Fragen (pdf) des E-Learning-Baukastens der ETH Zürich finden sich Tipps zur Fragenentwicklung und Durchführung von Online-Prüfungen mit weiterführenden Links.
• Richtlinien zum Erstellen von Übungsaufgaben mit JavaScript finden sich auf der von Dr. Bernhard Jacobs (Universität des Saarlandes) zusammengestellten Seite Übungsaufgaben stellen mit JavaScript.