Qualität ist der Schlüssel zu einem erfolgreichen Einsatz mediengestützter Lehrszenarien. Deshalb sollte Qualitätssicherung als fester Bestandteil in Konzeption und Umsetzung internetbasierter und telemedialer Lehre verankert sein. Um eine Qualitätssicherung des Lernangebots zu erzielen, müssen geeignete Evaluationsmaßnahmen durchgeführt werden (Schaumburg, 2004).
In größeren Förderprojekten kommt man um das Thema Evaluation meist ohnehin nicht herum: Evaluation gehört immer häufiger zu den vom Mittelgeber vorgesehenen Arbeitspaketen. Zudem können Evaluationsergebnisse als Argument für Anschlussfinanzierungen dienen und helfen, E-Learning Angebote kontinuierlich zu verbessern und nachhaltig in der Hochschule zu verankern.
Doch was ist unter Evaluation zu verstehen? In der Praxis reicht das Spektrum von hoch kontrollierten experimentellen Laborstudien bis zu Erfahrungsaufzeichnungen und Feldbeobachten. Auch in der Theorie ist der Evaluationsbegriff strittig. Eine allgemeingültige Bestimmung des Begriffs "Evaluation" gibt es nicht. Wir legen eine Begriffsbestimmung zugrunde, die im Kontext des Ansatzes der Qualitätssicherung von Bildungsangeboten geprägt wurde (vgl. Friedrich et al., 1997):
Evaluation ist die systematische und zielgerichtete Sammlung, Analyse und Bewertung von Daten zur Qualitätssicherung und Qualitätskontrolle. Sie gilt der Beurteilung von Planung, Entwicklung, Gestaltung und Einsatz von Bildungsangeboten bzw. einzelner Maßnahmen dieser Angebote (Methoden, Medien, Programme, Programmteile) unter den Aspekten von Qualität, Funktionalität, Wirkungen, Effizienz und Nutzen.
In den Vertiefungen geben wir einen Überblick zu verschiedenen Ansätzen und Methoden der Evaluation von digitalen Medien in der Lehre.
- Im Bereich Planung werden allgemeine Überlegungen zur Evaluation angestellt und vertiefende Informationen zur Evaluation in der Konzeptions-, Entwicklungs- und Einsatzphase gegeben.
- Im Bereich Methoden werden Aspekte der Untersuchungsplanung behandelt. Die Kurzdarstellung einiger in der Evaluation gebräuchlicher Instrumente soll als Orientierungs- und Entscheidungshilfe dienen.
- Der Bereich Hintergrund führt in zentrale theoretische Positionen und Konzepte rund um das Thema Evaluation ein.
Weitere Informationen
Mehr zum Thema
Qualitätssicherung und Qualitätsverbesserung sind die zentralen Ziele von Evaluationsvorhaben: Aus der Analyse sollen praktische Konsequenzen gezogen werden. Universitäten stehen unter dem Druck der Öffentlichkeit, die Qualität und die Kosten-Nutzen Effizienz ihre Ausbildungsleistungen zu belegen. Genaue Daten über Lehre und Studium schaffen die nötige Transparenz für informierte Entscheidungen und nachhaltige Planungen: Rechenschaftslegung gegenüber Finanzgebern, Profilbildung im Wettbewerb mit anderen Hochschulen, eine Optimierung der intra-universitären Ressourcenverteilung sind neben der Qualitätssicherung weitere wichtige Ziele der Evaluation.
Evaluation im Kontext von Bildungsmaßnahmen kann verschiedene Funktionen erfüllen. Je nach Funktionen der Evaluation erweisen sich unterschiedliche Methoden als geeignet.
Je nach Zielsetzung der Evaluation werden zwei grundsätzliche Anwendungsformen von Evaluation unterschieden: Die formative Evaluation zielt auf eine entwicklungsbegleitende Optimierung eines Lernangebots. Dagegen ist die summative Evaluation eine abschließende Bewertung einer bereits implementierten Bildungsmaßnahme.
An E-Teaching Projekten sind oft Personen beteiligt, die nicht über ein sozialwissenschaftliches Studium oder Detailkenntnisse in Methodenlehre und Testtheorie verfügen. Sie stehen damit vor der Frage, ob Sie Ihr Evaluationsvorhaben in eigener Regie durchführen wollen oder aber eine hierin erfahrene Institution beauftragen.
Der erste Schritt eines Evaluationsvorhabens ist die Festlegung der Evaluationsziele. Erst wenn der Sinn des Projektes feststeht, können sinnvolle Strategien der Befragung abgeleitet werden. Die Strategien erfordern schließlich bestimmte Methoden der Datenerhebung. Ist der Evaluationsgegenstand zu weit gefasst, sollten sinnvolle Einheiten abgeleitet werden, die Schritt für Schritt überprüft werden können.
Wesentliche Ziele einer Evaluation können Wirkkontrolle, Steuerung, Reflexion über ein und Verständnis von einem Thema sein. In jedem Fall geht es darum, Schwächen des Angebots zu identifizieren. Statt Überprüfung und Kritik sollten jedoch die Förderung und Entwicklung des Projektes im Vordergrund stehen.
Die bei der Planung von multimedialen Bildungsprodukten anfallenden Evaluationsmaßnahmen haben zumeist formativen Charakter: Sie dienen der Verbesserung der curricularen und didaktischen Entscheidungen.
Im Verlauf der Entwicklungsphase wird in der Regel formativ evaluiert. Die in der Entwicklung begriffenen Materialien werden beispielsweise auf ihre Qualität oder ihre Eignung für die Zielgruppe und die Rahmenbedingungen hin überprüft, um Hinweise für eine Optimierung zu gewinnen.
Die Einsatzphase beginnt, wenn ein virtuelles Lehrszenario implementiert wird. In dieser Phase zielt die Evaluation stärker auf eine abschließende Bewertung. Ein Kriterium ist z.B. der Lernerfolg der Studierenden. Weil in der Praxis die Phasen der Entwicklung, Erprobung und Implementierung oft nur schwer zu trennen sind, hat Evaluation in der Einsatzphase zumeist summative und formative Anteile.
Erst wenn Ziel und Zweck der Untersuchung klar sind, stellt sich die Frage der sinnvollen Operationalisierung des Vorhabens. Es gibt eine vielseitige Menge an Analysewerkzeugen, Instrumenten und Methoden. Beurteilen sie diese Verfahren in Hinblick auf Art und Umfang der Durchführung und Auswertung. Es muss überlegt werden, ob der Einsatz intern erfolgen kann oder ob externe Untersuchungsleiter ins Unternehmen kommen sollen. Eine Aufbereitung der Daten sollte mit Hinblick auf konkrete Empfehlungen als Entscheidungsgrundlage erfolgen.
Das Interview ist ein hinsichtlich der Durchführung recht einfaches und kostengünstiges, zugleich jedoch zeitintensives Verfahren zur Erhebung von Evaluationsdaten.
Ein für die Sammlung subjektiver Evaluationsdaten weit verbreitetes Verfahren ist der Fragebogen. Auch hier hat das Internet einiges einfacher gemacht: Bei der Verwendung von Online-Fragebögen liegen die Daten bereits elektronisch vor und können leichter ausgewertet werden.
Durch die breite Nutzung des Internet ist es leicht möglich, einen Fragebogen online zu veröffentlichen und so einem großen Teilnehmerkreis zugänglich zu machen. Mit vergleichsweise geringem Aufwand kann innerhalb eines kurzen Zeitraums eine Befragung mit sehr hohen Teilnehmerzahlen umgesetzt werden.
Tests werden in Evaluationsvorhaben sowohl im Bereich formativer Evaluation (Lernvoraussetzungstests, Erprobung eines Kriteriums in der Labor- oder Feldphase) als auch im Rahmen summativer Evaluation (zur Überprüfung des Lernerfolgs, zur Messung der Wirksamkeit einer Intervention) verwendet.
Gemäß der lateinischen Bedeutung von experimentum, nämlich Versuch, Probe, Beweis, handelt es sich beim Experiment um eine Untersuchung, bei der gezielt eine bestimmte Annahme oder Vermutung geprüft und entweder bewiesen oder widerlegt werden soll. Das Experiment ist ein Verfahren zur Datenerhebung, das hauptsächlich in den Naturwissenschaften und Sozialwissenschaften wie der Psychologie und Soziologie angewendet wird.
Kriterienkataloge ermöglichen eine schnelle und ökonomische Überprüfung der Produktqualität unter vorwiegend pädagogisch-didaktischen und technischen Aspekten. Es liegen eine Vielzahl von Kriterienkatalogen vor, die jeweils für unterschiedliche Intentionen entwickelt wurden.
Usability-Tests untersuchen die Benutzbarkeit von Anwendungen. Bei Usability-Tests wird der Umgang der Teilnehmenden mit einer Lernumgebung beobachtet. So können Sie wertvolle Hinweise gewinnen, ob zum Beispiel eine Software für ihre Zielgruppe geeignet ist oder sich die Anschaffung einer bestimmten Infrastruktur lohnt.
Logfile-Analysen sind Zugriffstatistiken, die Auskunft über die Nutzung eines Internet-Angebotes geben. Grundlage von Logfile-Analysen sind die Log-Dateien des Web-Servers, in denen alle Zugriffe protokolliert werden.
Beim Eye-Tracking geht es darum, mithilfe entsprechender technischer Hilfsmittel die Augen- bzw. die Blickbewegungen einer Testperson aufzuzeichnen und hinsichtlich verschiedener Fragestellungen auszuwerten. Eye-Tracking kommt daher oftmals bei Marktforschungsanalysen zur Wirksamkeit von Werbekampagnen oder auch Untersuchungen zur Benutzerfreundlichkeit z.B. von Internetseiten als wichtiger Evaluationsfaktor zum Einsatz.
Als „Learning Analytics” wird die Interpretation verschiedenster Daten bezeichnet, die von Studierenden produziert oder für sie erhoben werden, um Lernfortschritte zu messen, zukünftige Leistungen vorauszuberechnen und potenzielle Problembereiche aufzudecken
