Qualitätssicherung in der Einsatzphase

Ziele Aus einer summativer Perspektive heraus geht es bei Evaluationsaktivitäten in der Einsatzphase um eine Beschreibung und Bewertung der Wirkung und des Nutzens des jeweiligen Bildungsangebots. Durch die Evaluation soll geklärt werden, ob durch den Einsatz der E-Learning Materialien die intendierten Effekte (z.B. Motivationssteigerung, bessere Lernergebnisse, etc.) tatsächlich erzielt wurden. In dieser Projektphase ist eine komplexe Bewertung des E-Learning Angebotes unter Praxisbedingungen möglich, während in der Konzeption und Entwicklung meist einzelne Komponenten im Vordergrund standen.

Welche Wirkungs- bzw. Nutzenaspekte beschrieben und bewertet werden, hängt sehr stark von der spezifischen Zielsetzung des Lehrangebotes ab. Die folgenden Gesichtspunkte spielen jedoch fast immer eine wesentliche Rolle:

• Akzeptanz und Attraktivität: Die persönliche Zufriedenheit der Lernenden mit dem Angebot als Ganzem und mit den einzelnen Komponenten ist ein wichtiger Indikator für den Erfolg medienbasierter Studienangebote.
• Lerneffekte: Die unmittelbaren und langfristige Auswirkungen des E-Learning Angebotes auf den Erwerb von Wissen und Fertigkeiten, auf die Anwendung und den Transfer des Gelernten sowie auf Bildung bzw. Änderung von Einstellungen sind interessante Erhebungsdimensionen.
• Effekte auf die Institution: E-Learning erfordert zumeist Maßnahmen in der Organisations- und Personalentwicklung. Die medienbasierten Lehrveranstaltungen können Rückwirkungen auf die traditionelle Lehre haben. Das Innovationsklima innerhalb der Institution kann sich verändern. Unter Umständen werden neue Zielgruppen angesprochen. All dies sind Effekte, die durch Evaluation prinzipiell zugänglich sind.
• Effizienz des Programms: Erreicht das Bildungsangebot tatsächlich die angestrebten Zielgruppen? Wie hoch sind die Abbruchquoten? Welche organisatorischen Infrastrukturen entstehen als Folge des Programms? Wie ist die Kosteneffizienz des Programms einzuschätzen? Diese und ähnliche Fragen beeinflussen die Nachhaltigkeit von E-Learning und sollten daher von der Evaluation mit berücksichtigt werden.
  

Konnte in der Entwicklungsphase das (teil-) virtuelle Studienangebot (Studienmaterialien, Präsenzphasen, Betreuungssystem, Organisation/Infrastruktur) nicht entwicklungsbegleitend erprobt und optimiert werden, so tritt bei Evaluationsmaßnahmen in der Einsatzphase der formative Charakter in den Vordergrund. Häufig ist es so, dass bestimmte Komponenten, wie Präsenzphasen, Betreuungssystem oder Organisation und Infrastruktur, erst in der Einsatzphase erprobt werden können und andere Komponenten, z. B. die Studienmaterialien, bereits relativ gut erprobt sind und damit auch eine summative Evaluation sinnvoll wird.

Methoden

Die Methodenwahl hängt von der Zielsetzung der Evaluation bei der Implementierung ab und unterscheidet sich je nach summativem oder formativem Schwerpunkt der Evaluation. Sofern die Einsatzphase vorwiegend für formative Evaluation genutzt wird, wird sich der methodische Zugang durch Flexibilität und geringen Aufwand (wenige Versuchpersonen, informelle Methoden u. a.) auszeichnen.

Eine abschließende Bewertung ist mit einem hohen methodischen Aufwand verbunden. Nur so kann eindeutig nachgewiesen werden, dass Effekte wie Lernerfolg oder Kosteneffizienz auf das betreffende Bildungsangebot zurückzuführen sind.

Um die Wirkungen von Programmen zu messen, werden in der Regel bestimmte Untersuchungsinstrumente benötigt - zumeist Tests, Fragebögen oder Interviews. Das Grundproblem bei der Entwicklung dieser Erhebungsverfahren besteht darin, sie so anzulegen, dass sie den jeweils interessierenden Sachverhalt zuverlässig erfassen und objektiv auswertbar sind. Der Bereich Methoden stellt einzelne Verfahren ausführlicher dar.