Im Verlauf der Entwicklungsphase wird in der Regel formativ evaluiert. Die in der Entwicklung begriffenen Materialien werden beispielsweise auf ihre Qualität oder ihre Eignung für die Zielgruppe und die Rahmenbedingungen hin überprüft, um Hinweise für eine Optimierung zu gewinnen.
|
Ziele
Ziel formativer Evaluation ist, Informationen für die unmittelbare
Optimierung des Studienangebotes zu erhalten. Für die Planung der
Datenerhebung bedeutet dies, vorwiegend solche Daten zu erheben, die
auch Hinweise auf konkrete Änderungen geben. Wichtige Leitfragen, die
Sie sich vor der Datenerhebung stellen sollten, sind:
- Was nützt es, diesen Sachverhalt zu erheben?
- Welche Konsequenzen können aus den Ergebnissen resultieren?
|
|
Gegenstände
Gegenstand formativer Evaluation in der Entwicklungsphase sind die in
Entwicklung befindlichen Komponenten: vornehmlich die E-Learning
Materialien, aber zumindest teilweise auch Aspekte des Betreuungssystems,
der Organisation, der Infrastruktur und Ähnliches. Wichtige Kriterien für
die Bewertung der Materialien sind die sachlich-inhaltliche Stimmigkeit und
die Förderung von selbstgesteuertem Lernen.
Eine Vielzahl möglicher Evaluationsfragen ergibt sich z. B. aus den
Hinweisen im Portal zur Mediengestaltung und Konzeption. Vertiefende
Informationen entnehmen Sie bitte den folgenden Verweisen:
Möglicherweise werden Sie aus Zeit- und Kostengründen nicht alle Elemente
eines virtuellen Lehrangebotes gleich intensiv evaluieren können. Bei der
Auswahl spielen folgende Gesichtspunkte eine Rolle:
- Relevanz: Studieneinheiten, in denen Grundlagen für das Verständnis
nachfolgender Studieneinheiten gelegt werden, sollten sorgfältiger
evaluiert werden als solche, die Exkurscharakter haben.
- Innovation: Es sollten bevorzugt solche Elemente formativ evaluiert
werden, mit denen ein innovativer Anspruch verbunden ist.
- Information: Wenn sich das Entwicklerteam über die Qualität bestimmter
Materialien uneinig ist, kann die formative Evaluation Unsicherheit
reduzieren und Entscheidungshilfen geben.
Methoden
Die Methodenwahl wird in der Praxis - außer von der jeweiligen
inhaltlichen Fragestellung - weitgehend von ökonomischen Überlegungen
bestimmt: Mit möglichst geringem Aufwand sollen möglichst umfangreiche, der
Optimierung dienliche Daten gewonnen werden. Zudem sollen die
Evaluationsergebnisse auch noch in einem absehbaren Zeitraum zu Änderungen
führen können, die ggf. ebenfalls wieder überprüft werden können.
Indirekte vs. direkte Methodik
Sie können die Studienmaterialien direkt durch Experten oder Lernende
hinsichtlich verschiedener Kriterien wie Verständlichkeit, Gliederung/
Ordnung usw. beurteilen lassen. Dies erfordert relativ wenig Aufwand. Es
kann jedoch passieren, dass jeder Urteilende unter Verständlichkeit,
Gliederung/ Ordnung usw. etwas anderes versteht.
Sie können auch in Lernexperimenten die indirekten Auswirkungen der
Lehrmaterialien auf Verstehen, Behalten, Problemlösen, etc. prüfen. Dieses
Verfahren ist aufwändig und kommt für viele Projekte insbesondere in der
Entwicklungsphase nicht in Frage. Es gibt aber auch vergleichsweise einfache
Möglichkeiten, den Umgang der Lernenden mit den Materialien zu testen: Sie
können Studierende beispielsweise bitten, die Hauptgedanken der
Studieneinheit wiederzugeben und für das Gesamtverständnis kritische
Begriffe zu erläutern.
Bei computergestützten Lernangeboten können bestimmte Daten wie Zugriffe,
Lernwege und Verweildauer durch
Logfile
-Analysen
erfasst werden. Weitere Informationen entnehmen Sie bitte der Vertiefung zu
Logfiles
!
Experten vs. Adressaten
Eine Evaluation durch Inhaltsexperten ist hilfreich um inhaltliche Lücken
oder Schwachstellen aufzudecken und zusätzliche Aspekte und Perspektiven
einzubinden. Ergänzend sollten Sie die potenziellen Adressaten in die
Evaluation einbeziehen. So wie ein geübter Leser Druckfehler häufig
überliest, ergänzt ein Inhaltsexperte bei der Lektüre verstehensrelevante
Informationen, die das Lehrmaterial selbst gar nicht enthält. Das sind dann
die Stellen, die für den Experten "sonnenklar" sind und bei denen
Studierende "immer nur Bahnhof" verstehen.
Quantitative vs. qualitative Methode
Bei der Evaluation von Lehrmaterialien liefern quantitative Kennzahlen
zumeist nur Hinweise, dass mit Material und Medienaufbereitung etwas nicht
stimmt, selten aber Hinweise darauf, was nicht stimmt bzw. was verändert
werden sollte. Detaillierte und optimierungsrelevante Informationen erhalten
Sie, wenn Sie das Lehrmaterial von wenigen (etwa vier bis sieben)
Testnutzern (Experten und potenziellen Adressaten) bearbeiten lassen und
diese intensiv (mündlich oder schriftlich) zu ihren Urteilen befragen.
Für die Erhebung qualitativer Daten spricht darüber hinaus, dass
formative Evaluation zumeist nicht auf repräsentative Durchschnittswerte
abzielt, sondern eher auf die Aufdeckung von Schwachstellen in einem
Bildungsangebot. Hierzu reichen oft schon wenige Versuchspersonen aus.
Freies vs. geleitetes Vorgehen
Der Auftrag, frei zu kommentieren, kann bei kreativen und engagierten
Testnutzern durchaus zu wertvollen Evaluationsdaten führen. Bei anderen
Testpersonen kann man aber auch sehr globale, wenig informative "Daten"
erhalten, wie z. B. "alles in Ordnung" oder "zu kompliziert". Aus diesem
Grund empfehlen wir die Vorgabe eines differenzierten Fragenkatalogs. Genaue
Fragen regen eine tiefere Verarbeitung an und erhöhen die Vergleichbarkeit.
Einen Beispielfragenkatalog, der für eine Expertenbefragung im Rahmen der
Evaluation von e-teaching.org eingesetzt wurde, bieten wir Ihnen als
PDF
-Dokument zum
herunterladen an: Fragenkatalog e-teaching.org
Auswertung
Vor allem dann, wenn der Evaluierende an der Entwicklung beteiligt war,
sollte klar sein, dass es bei der Bewertung der Evaluationsergebnisse nicht
darum geht, die Studienmaterialien zu verteidigen und mögliche Einwände
"abzubügeln". Vielmehr sollen die Probleme in Erfahrung gebracht
werden, die die Lernenden in der Auseinandersetzung mit den
Studienmaterialien haben. Alle erhobenen Probleme und Änderungsvorschläge
sollten in einer einheitlichen Form zusammengefasst werden. Die so
aggregierten Daten sind Ausgangspunkt für die Überarbeitung.
