Prüfungsgeneratoren

Einführung

Computerunterstützte Übungen und Prüfungen werden an Hochschulen zunehmend populärer; sie erscheinen Dozentinnen und Dozenten sowie Studierenden gleichermaßen attraktiv. Die schnelle Rückmeldung über Erfolg oder Misserfolg und die erleichterte Auswertung sprechen für die Nutzung digitaler Medien. Zudem bieten sich im Vergleich zu herkömmlichen schriftlichen Klausuren zusätzliche Möglichkeiten des adaptiven Testens (Test, bei dem sich je nach gegebener Antworten die weiteren Fragen bestimmen). Demgegenüber stehen allerdings Einschränkungen auf Seiten der Prüfungsgestaltung. Meist können nur bestimmte Aufgabentypen (Multiple-Choice, Lückentext, Drag & Drop) definiert werden, die dem didaktischen Design enge Grenzen setzen und auf bestimmte Themengebiete und Lernziele nicht sinnvoll angewandt werden können. Außerdem darf der Zeitaufwand zur inhaltlichen Planung und technischen Umsetzung virtualisierter Prüfungen nicht unterschätzt werden.


Erstellung computerunterstützter Prüfungen

Für die Erstellung computerunterstützter Übungen und Tests sind drei Bereiche von besonderer Relevanz: Die Inhaltserstellung betrifft das Entwerfen von Prüfungsfragen oder Übungen, die in bestimmten Formen (Multiple-Choice, Lückentext, offene Fragen) abgefasst werden. Über die bei der Dozentin oder dem Dozenten liegende Administration der Prüfungen wird der Zugang für die Teilnehmer/innen geregelt und Rechte vergeben. Damit zusammenhängend sind Sicherheitsaspekte zu beachten, z. B. dass kein/e Teilnehmer/in Prüfungen doppelt ablegen kann, Zeitbeschränkungen eingehalten werden und der Zugang zur Datenauswertung geschützt ist.
Oftmals sind Funktionen zur Erstellung computerunterstützter Prüfungen in Autorenwerkzeugen oder Lernmanagementsystemen (LMS) verfügbar. Autorenwerkzeuge sind Programme zur multimedialen Aufbereitung von Lehrinhalten und Entwicklung von Lernsoftware, die sich auch ohne besondere Programmierkenntnisse bedienen lassen. Mit ihnen lassen sich kleinere Tests und Übungen entwerfen. Sie ermöglichen also die Inhaltserstellung, bieten aber keine Administrations- und Sicherheitsfunktionen. Mit Autorenwerkzeugen erstellte Übungen oder Prüfungen lassen sich allerdings in LMS integrieren. Beispiele für Autorenwerkzeuge finden Sie in den Produktsteckbriefen (Produktkategorie CBT/WBT).
Besser geeignet zur Erstellung computerunterstützter Prüfungen sind die in vielen LMS integrierten Prüfungswerkzeuge. (Weitere Informationen finden Sie auf den Seiten zu Lernmanagementsystemen und den Produktsteckbriefen (Produktkategorie LMS)). Ein Merkmal von LMS ist die abgesicherte Benutzer- und Kursverwaltung, die u. a. die Verwaltung und die Sicherheit von Prüfungen gewährleisten kann. Die Inhaltserstellung der Tests, Prüfungen oder Übungen gestaltet sich je nach LMS unterschiedlich flexibel. Meist werden zu Beginn Fragen entworfen und zu thematischen Fragegruppen zusammengefasst bzw. kategorisiert. Es stehen verschiedene Frageschablonen zur Verfügung: Multiple-Choice-Fragen, Lückentexte, Fragen zur Zuordnung oder Anordnung von Begriffen oder Bildern sowie Fragen mit numerischen Antworten gehören zum Standard, offene Fragen mit längerer Texteingabe sind teilweise möglich.
Als Beispiel können Sie die im Open Source- LMS ILIAS enthaltenen Prüfungswerkzeuge anschauen.
Nachteile der LMS-Prüfungswerkzeuge sind die fehlende Flexibilität bei den Frageformen und die Einschränkung der (statistischen) Auswertung und Reporterstellung. Auch ein adaptives Testen, bei dem sich je nach gegeben Antworten die weiteren Fragen (z. B. nach Schwierigkeitsgrad) bestimmen, ist mit den in LMS integrierten Werkzeugen meist nicht möglich. Will man diese Funktionen nutzen, muss man auf spezielle Prüfungsgeneratoren zurückgreifen.


Spezielle Prüfungsgeneratoren

Prüfungsgeneratoren sind auf die Erstellung von computerunterstützten Tests, Übungen und Prüfungen spezialisierte Software. Es handelt sich um eigenständige Programme (Stand-Alone), die nicht in ein LMS integriert werden müssen und auf einem Einzelplatzcomputer, in einem Netzwerk/Intranet oder über einen Webserver betrieben werden können. Die technischen Voraussetzungen für die Benutzung der Prüfungsgeneratorensoftware sind davon abhängig, ob auf Einzelplatzrechner oder mit Webservern gearbeitet wird. Das Produkt Perception for Windows der Firma Questionmark beispielsweise benötigt das Betriebssystem Windows 95 oder höher, den Internet Explorer und den Datenbanktreiber ODBC (Open DataBase Connectivity), der z. B. mit Microsoft Access installiert wird. Ein CD-Brenner sollte zur Rechnerausstattung gehören, da die Programme teilweise die Funktion enthalten, Prüfungen auf CD zu erstellen.
Prüfungsgeneratoren umfassen Funktionen der Inhaltserstellung, Testauswertung, Kommunikationsmöglichkeiten (Foren etc.), Administration und Sicherheitsverwaltung. Um Fragen bzw. Aufgaben zu entwerfen und zu Prüfungen (auch Assessments genannt) zusammenzustellen, stehen viele vorgegebene Formate zur Verfügung. Es können auch selbst definierte Formate entwickelt werden. Dadurch lassen sich verschiedene Prüfungsformen entwerfen. So können beispielsweise die Fragen einer Prüfung nach dem Zufallsprinzip angeordnet werden und für jede Frage(form) ein spezielles Feedback definiert werden. Durch das an die Antworten der Prüflinge gebundene Ausführen bedingter Sprünge in der Fragensammlung ist ein adaptives Testen möglich.
Als Beispiel wird hier die zum Prüfungsgenerator Perception gehörende Autorenkomponente vorgestellt. Um eine Prüfung oder einen Test zu erstellen, legt der Lehrende eine Datenbank mit Fragen an, die selbst gewählten Themenbereichen zugeordnet werden. Die Fragen können dann zu Prüfungen (Assessments) zusammengestellt werden. Perception bietet in der neuesten Version 4.1 20 vordefinierte Fragearten an, von einfachen Ja/Nein oder Richtig/Falsch-Fragen über Multiple-Choice, Lückentext, Fragen, bei denen bestimmte Teile einer Grafik markiert werden sollen, bis zu Texteingaben einzelner Wörter und freien Aufsätzen. Auch Simulationen und das Aufnehmen gesprochener Antworten sind möglich. Eine Multiple-Choice-Frage wird z. B. so angelegt wie in den Abbildungen 1 bis 3 zu sehen ist. Man wählt einen Themenbereich aus, zu dem die Frage gehören soll, und ruft die Funktion „Neue Frage hinzufügen“ auf. Aus der Liste der zur Verfügung stehenden Fragetypen wählt man den gewünschten Typ (hier Multiple-Choice, Abbildung 1) und geht weiter zur Eingabe des Fragetextes.

Der Text der Frage kann frei eingeben und im gewissen Rahmen formatiert werden (Abbildung 2).


Im nächsten Schritt gibt man die Antworten ein, die zur Auswahl stehen sollen und legt zu jeder einen Wert und ein individuelles Feedback fest (Abbildung 3). Zusätzlich kann man bestimmen, ob die Multiple-Choice-Antworten jeweils zufällig angeordnet werden sollen oder nach einer definierten Reihenfolge.
 

Im Fragenmanager kann man die Fragen anschließend im Vorschau-Fenster betrachten (Abbildung 4).
Beim Zusammenstellen einer Prüfung wählt man die gewünschten Fragen aus den Themenbereichen aus und legt weitere Optionen für die Prüfung fest (Zeitbegrenzung, Speichern der Antworten in einer Datenbank, Anzeigen der Feedback-Texte etc.). Um die Prüfungen zur Durchführung zu bringen, können sie mit Perception for Windows entweder in einem lokalen Netzwerk in ein Verzeichnis kopiert oder auf CD gebrannt und an die Prüflinge verteilt werden. Damit die Prüfung auf jedem Rechner funktioniert, wird auf der CD ein Betrachtungsprogramm mitgegeben.
 

Um die Sicherheit der Prüfungen zu gewährleisten können die Identifizierung der Prüflinge über ein Passwort eingerichtet und bestimmte Shortcut-Befehle (für das Kopieren, Speichern oder Drucken von Antworten) gesperrt werden. Erweiterte, für die Sicherheit relevante Funktionen wie das Einrichten von Teilnehmergruppen, das Definieren von Zugriffsdaten und das Festlegen der Anzahl von Prüfversuchen, sind nur mit der Webserver-Version von Perception möglich.


Produkte

Die Plattform Perception der Firma Questionmark gibt es in zwei Varianten. Einmal Perception for Windows (Preis ca. 2300 Euro), das auf Einzel-PCs oder in einem LAN -Netzwerk betrieben werden kann, und zum zweiten Perception für das Web (Preis ab ca. 4900 Euro für 100 Teilnehmerkonten), das über einen Webserver im Inter- und Intranet genutzt werden kann (benötigt weitere Datenbank- und Server-Software). Eine Demoversion mit vollem Funktionsumfang kann kostenlos für 30 Tage getestet werden: Es empfiehlt sich die neueste englische Version 4.1.

Als kostenlose Alternative zu Perception kann die Open Source -Software WebAssign empfohlen werden, die auf Java basiert. Diese Software ist speziell für die Benutzung an Hochschulen entworfen worden und wird an einigen Universitäten in Deutschland eingesetzt. Der Funktionsumfang von WebAssign ist kleiner als der des kommerziellen Perception, aber in den meisten Fällen völlig ausreichend. Es stehen nicht so viele vordefinierte Fragetypen zur Auswahl, doch die Möglichkeiten zur Erstellung von Freitext-Aufgaben sind besser als in Perception. WebAssign wird auf einem Webserver installiert, läuft unter Linux und Solaris und benötigt weitere Datenbank-Software (entweder Open Source oder kommerziell). Die Installation und Einrichtung sollte von im Umgang mit Webservern erfahrenen Personen (vom Hochschulrechenzentrum oder der IT-Abteilung) durchgeführt werden.

Die für Angehörige von Bildungseinrichtungen oder Non-Profit-Organisationen kostenlos zur Verfügung stehende Software HotPotatoes (Steckbrief) ist ein Programm, mit dem man Tests und Übungen für das Internet erstellen kann. Sie wird vor allem im Schulbereich eingesetzt und kann auch in Hochschulen für einfache Übungsaufgaben Verwendung finden. Zur Generierung umfangreicher Prüfungen oder Examen eignet sie sich vom Funktionsumfang und aus Sicherheitsgründen nicht.

Das Programm Articulate Quizmaker (Steckbrief) ist zur Erstellung webbasierter Tests und Übungsaufgaben geeignet. Es lassen sich zahlreiche Aufgabentypen per Drag & Drop ohne Programmierkenntnisse erstellen. Zusätzlich lassen sich mit der Software auch webbasierte Umfragen erstellen.


Zeitersparnis und Aufwand

Bedenken Sie, dass einer möglichen Zeitersparnis beim computerunterstützten Prüfen ein großer Aufwand zur ersten Erstellung der Inhalte gegenüber steht. Zudem lassen sicht nicht alle Inhalte, Themen etc. sinnvoll in eine computergestützte Form übertragen. Sollten Sie allerdings bereits über eine Sammlung von Fragen und Übungen in digitaler Form verfügen, kann eine Verwendung in computerunterstützten Tests möglicherweise sehr einfach sein. In diesem Fall ist bei Auswahl eines LMS-integrierten Werkzeugs oder eines Prüfungsgenerators zu prüfen, ob Ihre Fragen/Übungen ohne größere Mühe importiert werden können.
Sehen Sie zu diesem Thema auch die Information in der Rubrik Lehrszenarien.