eAssessment im Testcenter der Universität Bremen

Der „eAssessment“ Dienst der Universität Bremen und das angegliederte Testcenter

26.01.2010

 
Zentrum für Multimedia in der Lehre (ZMML) der Universität Bremen hat mit dem Dienst „eAssessment“ und dem angegliederten Testcenter eine in Deutschland einmalige Lösung gefunden, um E-Prüfungen in die Lehre einzubinden. Durch entsprechende Schulungs- und Service Angebote überzeugte das ZMML bereits 11 von 12 Fachbereichen der Universität Bremen von der Nutzung des Testcenters. Schon seit WS 2004/2005 werden an der Universität Bremen E-Klausuren durchgeführt, dies geschah jedoch zunächst an verstreuten,
heterogen ausgestatteten PC-Pools der Universität, was deutliche organisatorische Probleme mit sich brachte. Der Aufbau des Testcenters im Jahr 2007 hat zu einer erheblichen Erleichterung des Verfahrens geführt. Zum einen wegen der räumlichen Gegebenheiten: Die Kapazitäten des Testcenters reichen für 120 Prüflinge, es gibt einen Anmelde- und Wartebereicht, sowie einen gesonderten Ausgang für Studenten, die die Prüfung absolviert haben. Zum anderen durch eine geschlossene, gegenüber externen Zugriffen abgeschirmte, Server- und Netzarchitektur und eine homogene, technisch adäquate Ausstattung der Arbeitsplätze. Insgesamt wurden im Zuge des Dienstes „eAssessment“ des ZMML zwischen 12/2004 und 12/2009 bereits 26.000 Prüfungsleistungen erhoben, 154.000 davon im Testcenter. Im WiSe09/10 schließen 29 Veranstaltungen im Semester mit einer E-Klausur ab, auf die sich ca. 4500 Prüfungsleistungen verteilen.

Ziele und Inhalte

Der ökonomische Vorzug einer automatisch auswertbaren Klausur, die den Korrekturaufwand erheblich senkt, ist gerade wegen des erhöhten Prüfungsaufkommens seit der Bologna-Reform ein wichtiges Argument für die Einführung eines E-Prüfungs-Systems. Gesetztes Ziel des Projektes „eAssessment“ an der Universität Bremen ist darüber hinaus jedoch die Qualitätsverbesserung von Prüfungen. Objektivität, Reliabilität und Validität sind nach dem ZMML die drei Grundkriterien mit deren Verbesserung auch die Prüfungsqualität zunimmt.
 
Auf alle drei Faktoren kann ein elektronisches Prüfungssystem entscheidend Einfluss nehmen: Die Objektivität erhöht sich vor allem durch die computerbasierte Auswertung der Fragen. Dank der elektronischen Erfassung der Daten ist die Reliabilität der Prüfungen etwa über Konsistenzanalyen einfacher messbar. Zudem kann durch statistische Analysen der Schwierigkeitsgrad und die Trennschärfe der Fragen, Themen und Prüfungen analysiert werden, und unabhängige Durchläufe lassen sich einfacher vergleichen.
Die Validität einer Prüfung hängt maßgeblich von der Verankerung des Lernziels in der Prüfung ab. Dies zu gewährleisten ist die wichtigste und zugleich schwierigste Aufgabe des Prüfenden. Die E-Prüfung kommt den Lehrenden hier insofern entgegen, als sie über die Integration fachspezifischer Software, von Internetrecherche und von Multimedia neue Möglichkeiten der anwendungsbasierten Prüfungsformen eröffnet. Gerade bei der Validität setzt jedoch die Hauptkritik an der elektronischen Prüfung an: Sie bestehe lediglich aus Multiple-Choice Fragen und prüfe daher ausschließlich die Reproduktion von Faktenwissen ab. Allerdings ist es in E-Klausuren auch möglich, Freitexte, Kurztexte und Zahlen, Zuordnungen, Videoessays und Hörverständis abzuprüfen, außerdem können auch Multiple-Choice Fragen so gestellt sein, dass sie neben Faktenwissen auch Verständnis, Analyse- und Anwendungsfähigkeiten überprüfen. Da die Entwicklung einer didaktisch und fachlich angemessenen E-Prüfung mit einem nicht zu unterschätzendem Initialaufwand verbunden ist, setzt das ZMML auf ein hohes Maß an Unterstützung der Lehrenden in allen Phasen des computergestützten Assessments - von der Planung über die Durchführung bis zur Archivierung. Zur Qualitätssicherung des Fragenkatalogs hat das ZMML ein 6-Ebenen-Konzept entwickelt:

Didaktisches Konzept

Das Projekt eAssessment demonstriert, wie mit Hilfe des Einsatzes digitaler Bildungsmedien neue prüfungsdidaktische Möglichkeiten genutzt werden können und zugleich Qualitätssicherung gewährleistet werden kann.
Die E-Prüfung ermöglicht:
  • Qualitätssicherung durch Neukonzeption der Prüfungsfragen unter Mithilfe des ZMML
  • den Einsatz neuer Elemente in Prüfungen (Bsp.: Videoanalyse in Pädagogik)
  • berufs- und anwendungsorientiertes Prüfen (z.B. Softwareanwendugen oder Internetrecherche)
  • Motivation der Studierenden durch schnelles Feedback, Ergebnisstatistiken und Schwachstellenanalysen.

Curriculare Verankerung

Die E-Prüfung muss ebenso wie die konventionelle Prüfung der Prüfungsordnung entsprechen und ist demnach auch entsprechend im Curriculum verankert. Die elektronische Prüfung bietet jedoch mehr Flexibilität, da es möglich ist lediglich eine Zeitspanne zu setzen, in welcher die Studenten die Prüfungsleitung erbringen sollen und den genauen Zeitpunkt der Prüfung von den Studenten selbst bestimmen zu lassen. Durch den geringeren Korrekturaufwand für Dozenten ermöglicht das System das studienbegleitende - formative- Abprüfen des Stoffes.

Technik

Das ZMML Bremen setzt in ihrem Testcenter stationäre PCs ein, die über ein autonomes Netzwerk verbunden sind. Der Zugang zum Internet sowie andere Funktionen, die anwendungsorientierten Prüfungen dienen, wie das Benutzen einer bestimmten Software, können gezielt verfügbar gemacht werden.
Der Prüfungsraum wurde technisch für alle zurzeit genutzten Prüfungsformen ausgestattet, aber auch für viele zukünftige Prüfungsformen gerüstet.Ausstattung:
  • Geräuscharme Tastaturen und PCs,
  • Webcams und Headsets
  • Client Management-Software, die es ermöglicht alle PCs flexibel mit Software zu bestücken
  • Remote-Control-Software
  • 3 Beamer 

Weitere Informationen zur Ausstattung unter: http://www.eassessment.uni-bremen.de/testcenterausstattung.php
Mit dem eigens entwickeltem Testcenter Management Tool (TMT) können Daten zwischen Prüfungsverantwortlichen und ZMML sicher ausgetauscht, Termine verwaltet und eingesehen werden sowie die wichigsten Prüfungsprozesse verfolgt und kontrolliert werden.

Kosten

Die Einrichtung des Testcenters hat 600.000 Euro gekostet. Die Hälfte davon würde in IT investiert und über einen HBFG-Antrag finanziert, die andere Hälfte waren Baumittel der Universität, die genutzt wurden um den Raum entsprechend herzurichten.
Zusätzliche Einnahmen entstehen durch externe Prüfungen, die im Testcenter durchgeführt werden.
Aktuell gehen etwa 2 Mitarbeiterstellen in den Dienst eAssessment ein.

Zielgruppe

Studierende und Lehrende der Universität Bremen, sowie Anbieter externer Prüfungen (z.B. IHK).

Rahmenbedingungen

Die Etablierung eines Testcenters und die Entwicklung von Fragenkatalogen sind kostenaufwändig, lohnen sich jedoch, um die Integration von Multimedia in die Lehre und die Verzahnung von E-Learning und E-Assessment zu unterstützen. Um das Projekt aus ökonomischen Gesichtspunkten rentabel zu machen, muss es sich um eine Universität mit relativ großem Prüfungsaufkommen handeln. Nach Kosten-Nutzen-Rechnungen der Universität Bremen rentiert sich die E-Prüfung bei einem typischen Fragenkatalog ab 200 Studierenden pro Prüfung und einer mindestens zweimaligen Verwendung des Fragenkatalogs.

Zum Projekt

Website

http://www.eassessment.uni-bremen.de/index.php

Ansprechpartner/in

Dr. Jens Bücking
eassessment@uni-bremen.de

Zeitraum

Seit 2005 werden E-Klausuren im Rahmen des Dienstes „eAssessment“ durchgeführt, 2007 wurde das Testcenter eingerichtet

Förderung

"eAssessment im Testcenter der Universität Bremen" erhielt 2009 den mit 50.000 Euro dotierten Medida-Prix, der in diesem Jahr vom Bundesministerium für Bildung und Forschung (BMBF) gestellt wurde.

Beteiligungen und Kooperationen

Durch den Kooperationsvertrag mit der LPLUS GmbH – Bremen steht die Prüfungssoftware für das Testcenter der Universität kostengünstig zur Verfügung. Darüber hinaus entwickelt die Firma das Programm mit den Verbesserungsanregungen des ZMML, die aus den Praxiserfahrungen in den Prüfungen entstehen, beständig weiter.

Kategorisierung

Lehrfunktion

  • Feedback u. Lernerfolgskontrolle

Medieneinsatz

  • Hypertext
  • PDF
  • Simulation
  • Animation
  • Videoübertragung/-aufzeichnung
  • Audioübertragung/-aufzeichnung
  • Sonstigs

Lehrszenarien

  • Übergreifend / Sonstige

Kategorie

  • Lehr-/Lernszenario