Planung

Der erste Schritt eines Evaluationsvorhabens ist die Festlegung der Evaluationsziele. Erst wenn der Sinn des Projektes feststeht, können sinnvolle Strategien der Befragung abgeleitet werden. Die Strategien erfordern schließlich bestimmte Methoden der Datenerhebung. Ist der Evaluationsgegenstand zu weit gefasst, sollten sinnvolle Einheiten abgeleitet werden, die Schritt für Schritt überprüft werden können. Wesentliche Ziele einer Evaluation können Wirkkontrolle, Steuerung, Reflexion über ein und Verständnis von einem Thema sein. In jedem Fall geht es darum, Schwächen des Angebots zu identifizieren. Statt Überprüfung und Kritik sollten jedoch die Förderung und Entwicklung des Projektes im Vordergrund stehen.

Mit der Planung der Evaluation sollten Sie so früh wie möglich beginnen, da Evaluationsaktivitäten im Rahmen eines E-Teaching Projektes zumeist erhebliche Auswirkungen auf Zeit-, Finanz- und Arbeitsaufwand haben.

Die Vertiefungen behandeln in Abhängigkeit von der jeweiligen Projektphase folgende Leitfragen, die Ihnen bei der Konzeption und Durchführung Ihres Evaluationsvorhabens vermutlich begegnen werden:

  • Anhand der Frage "Wozu soll evaluiert werden?" werden verschiedene Funktionen der Evaluation diskutiert.
  • Die Frage "Was soll evaluiert werden?" lenkt den Blick auf unterschiedliche Evaluationsgegenstände.
  • Die Frage "Wie soll evaluiert werden?" reißt die Vielfalt möglicher Untersuchungsmethoden an.

Die Auseinandersetzung mit diesen Fragen soll Ihnen helfen, die erforderlichen personellen und sachlichen Ressourcen abzuschätzen und eine Evaluationskonzeption zu erarbeiten.

Letzte Änderung: 08.04.2015
Druckansicht

Weitere Inhalte zum Thema

Grundlagen

Qualitätssicherung und Qualitätsverbesserung sind die zentralen Ziele von Evaluationsvorhaben: Aus der Analyse sollen praktische Konsequenzen gezogen werden. Universitäten stehen unter dem Druck der Öffentlichkeit, die Qualität und die Kosten-Nutzen Effizienz ihre Ausbildungsleistungen zu belegen. Genaue Daten über Lehre und Studium schaffen die nötige Transparenz für informierte Entscheidungen und nachhaltige Planungen: Rechenschaftslegung gegenüber Finanzgebern, Profilbildung im Wettbewerb mit anderen Hochschulen, eine Optimierung der intra-universitären Ressourcenverteilung sind neben der Qualitätssicherung weitere wichtige Ziele der Evaluation.

Funktionen

Evaluation im Kontext von Bildungsmaßnahmen kann verschiedene Funktionen erfüllen. Je nach Funktionen der Evaluation erweisen sich unterschiedliche Methoden als geeignet.

Formen

Je nach Zielsetzung der Evaluation werden zwei grundsätzliche Anwendungsformen von Evaluation unterschieden: Die formative Evaluation zielt auf eine entwicklungsbegleitende Optimierung eines Lernangebots. Dagegen ist die summative Evaluation eine abschließende Bewertung einer bereits implementierten Bildungsmaßnahme.

Durchführung

An E-Teaching Projekten sind oft Personen beteiligt, die nicht über ein sozialwissenschaftliches Studium oder Detailkenntnisse in Methodenlehre und Testtheorie verfügen. Sie stehen damit vor der Frage, ob Sie Ihr Evaluationsvorhaben in eigener Regie durchführen wollen oder aber eine hierin erfahrene Institution beauftragen.

Planung

Der erste Schritt eines Evaluationsvorhabens ist die Festlegung der Evaluationsziele. Erst wenn der Sinn des Projektes feststeht, können sinnvolle Strategien der Befragung abgeleitet werden. Die Strategien erfordern schließlich bestimmte Methoden der Datenerhebung. Ist der Evaluationsgegenstand zu weit gefasst, sollten sinnvolle Einheiten abgeleitet werden, die Schritt für Schritt überprüft werden können. Wesentliche Ziele einer Evaluation können Wirkkontrolle, Steuerung, Reflexion über ein und Verständnis von einem Thema sein. In jedem Fall geht es darum, Schwächen des Angebots zu identifizieren. Statt Überprüfung und Kritik sollten jedoch die Förderung und Entwicklung des Projektes im Vordergrund stehen.

Konzeption

Die bei der Planung von multimedialen Bildungsprodukten anfallenden Evaluationsmaßnahmen haben zumeist formativen Charakter: Sie dienen der Verbesserung der curricularen und didaktischen Entscheidungen.

Entwicklung

Im Verlauf der Entwicklungsphase wird in der Regel formativ evaluiert. Die in der Entwicklung begriffenen Materialien werden beispielsweise auf ihre Qualität oder ihre Eignung für die Zielgruppe und die Rahmenbedingungen hin überprüft, um Hinweise für eine Optimierung zu gewinnen.

Einsatz

Die Einsatzphase beginnt, wenn ein virtuelles Lehrszenario implementiert wird. In dieser Phase zielt die Evaluation stärker auf eine abschließende Bewertung. Ein Kriterium ist z.B. der Lernerfolg der Studierenden. Weil in der Praxis die Phasen der Entwicklung, Erprobung und Implementierung oft nur schwer zu trennen sind, hat Evaluation in der Einsatzphase zumeist summative und formative Anteile.

Methoden

Erst wenn Ziel und Zweck der Untersuchung klar sind, stellt sich die Frage der sinnvollen Operationalisierung des Vorhabens. Es gibt eine vielseitige Menge an Analysewerkzeugen, Instrumenten und Methoden. Beurteilen sie diese Verfahren in Hinblick auf Art und Umfang der Durchführung und Auswertung. Es muss überlegt werden, ob der Einsatz intern erfolgen kann oder ob externe Untersuchungsleiter ins Unternehmen kommen sollen. Eine Aufbereitung der Daten sollte mit Hinblick auf konkrete Empfehlungen als Entscheidungsgrundlage erfolgen.

Interview

Das Interview ist ein hinsichtlich der Durchführung recht einfaches und kostengünstiges, zugleich jedoch zeitintensives Verfahren zur Erhebung von Evaluationsdaten.

Fragebogen

Ein für die Sammlung subjektiver Evaluationsdaten weit verbreitetes Verfahren ist der Fragebogen. Auch hier hat das Internet einiges einfacher gemacht: Bei der Verwendung von Online-Fragebögen liegen die Daten bereits elektronisch vor und können leichter ausgewertet werden.

Online-Umfrage

Durch die breite Nutzung des Internet ist es leicht möglich, einen Fragebogen online zu veröffentlichen und so einem großen Teilnehmerkreis zugänglich zu machen. Mit vergleichsweise geringem Aufwand kann innerhalb eines kurzen Zeitraums eine Befragung mit sehr hohen Teilnehmerzahlen umgesetzt werden.

Test

Tests werden in Evaluationsvorhaben sowohl im Bereich formativer Evaluation (Lernvoraussetzungstests, Erprobung eines Kriteriums in der Labor- oder Feldphase) als auch im Rahmen summativer Evaluation (zur Überprüfung des Lernerfolgs, zur Messung der Wirksamkeit einer Intervention) verwendet.

Experiment

Gemäß der lateinischen Bedeutung von experimentum, nämlich Versuch, Probe, Beweis, handelt es sich beim Experiment um eine Untersuchung, bei der gezielt eine bestimmte Annahme oder Vermutung geprüft und entweder bewiesen oder widerlegt werden soll. Das Experiment ist ein Verfahren zur Datenerhebung, das hauptsächlich in den Naturwissenschaften und Sozialwissenschaften wie der Psychologie und Soziologie angewendet wird.

Kriterienkatalog

Kriterienkataloge ermöglichen eine schnelle und ökonomische Überprüfung der Produktqualität unter vorwiegend pädagogisch-didaktischen und technischen Aspekten. Es liegen eine Vielzahl von Kriterienkatalogen vor, die jeweils für unterschiedliche Intentionen entwickelt wurden.

Usability-Test

Usability-Tests untersuchen die Benutzbarkeit von Anwendungen. Bei Usability-Tests wird der Umgang der Teilnehmenden mit einer Lernumgebung beobachtet. So können Sie wertvolle Hinweise gewinnen, ob zum Beispiel eine Software für ihre Zielgruppe geeignet ist oder sich die Anschaffung einer bestimmten Infrastruktur lohnt.

Logfile-Analyse

Logfile-Analysen sind Zugriffstatistiken, die Auskunft über die Nutzung eines Internet-Angebotes geben. Grundlage von Logfile-Analysen sind die Log-Dateien des Web-Servers, in denen alle Zugriffe protokolliert werden.

Eye-Tracking

Beim Eye-Tracking geht es darum, mithilfe entsprechender technischer Hilfsmittel die Augen- bzw. die Blickbewegungen einer Testperson aufzuzeichnen und hinsichtlich verschiedener Fragestellungen auszuwerten. Eye-Tracking kommt daher oftmals bei Marktforschungsanalysen zur Wirksamkeit von Werbekampagnen oder auch Untersuchungen zur Benutzerfreundlichkeit z.B. von Internetseiten als wichtiger Evaluationsfaktor zum Einsatz.

Learning Analytics

Als „Learning Analytics” wird die Interpretation verschiedenster Daten bezeichnet, die von Studierenden produziert oder für sie erhoben werden, um Lernfortschritte zu messen, zukünftige Leistungen vorauszuberechnen und potenzielle Problembereiche aufzudecken