Prof. Dr. Benjamin Paaßen forscht an der Universität Bielefeld mit seiner Arbeitsgruppe „Wissensrepräsentation und Maschinelles Lernen“ an der Schnittstelle zwischen menschlichem Wissen und maschinellem Lernen. Zu seinen Fragestellungen gehört beispielsweise, wie maschinelles Lernen dazu eingesetzt werden kann, menschliches Wissen zu mehren. Dazu arbeitet die Gruppe u. a. an der Entwicklung umfangreicher Tutoring-Systeme, die Studierende während des Lernprozesses durch gezielte Hilfestellungen unterstützen.

Im Interview mit e-teaching.org beschreibt Benjamin Paaßen, an welchen Stellen seine Forschung und Entwicklung ansetzt, wie Künstliche Intelligenz (KI) verantwortungsvoll eingesetzt werden kann und welche Rolle große Sprachmodelle, sogenannte Large Language Models (LLMs), dabei spielen.

Interview

e-teaching.org: In Eurer Arbeitsgruppe habt Ihr Methoden entwickelt, die automatisch Rückmeldungen auf Hausaufgaben geben. Wie sieht das genau aus? Und was bedeutet das für die Studierenden und auch für die Lehrenden?

Benjamin Paaßen: Das ist eine ganz normale Webseite für die Programmierlehre (siehe Abb. 1). Dort sehen die Studierenden links oben eine Programmieraufgabe, die ich als Lehrkraft geschrieben haben. Sie arbeiten dann rechts an ihrem Programm. Immer, wenn sie nicht weiterwissen, können sie auf einen Hilfeknopf drücken. Dann wird ein großes Sprachmodell – also ein KI-System – angefragt, das versucht vorherzusagen, wie ein möglicher nächster Schritt aussehen könnte und dann eine Erklärung dieses nächsten Schrittes generiert. Die Erklärung wird dann links unten angezeigt. Wichtig dabei: Die Studierenden bekommen keine Lösung verraten, sondern wirklich nur einen nächsten Schritt und können dann selbst weiterarbeiten.

Wenn die Studierenden eine Aufgabe abgeschlossen haben, wird im Hintergrund automatisch eine Schätzung berechnet, wie sich ihre Fähigkeiten durch die Bearbeitung der Aufgabe weiter entwickelt haben (abhängig davon, wie rasch sie die Lösung gefunden haben). Wenn die Studierenden ein bestimmtes Thema schon gemeistert haben, können sie Aufgaben zum gleichen Thema überspringen.

In unserem System haben Lehrende weiterhin weitgehende Kontrolle über die Didaktik. Sie schreiben die Aufgabenstellungen und definieren, wie eine richtige Lösung aussieht, über automatische Tests, die die Lösung erfüllen muss. Damit beeinflussen sie indirekt auch, wie die Hilfestellungen für Studierende generiert werden.

Abb. 1: Screenshot der Lernumgebung in der Programmierlehre. Links unten wird als Hilfestellung ein vom KI-System generierter Text angezeigt (Hervorhebung durch grünen Rahmen). Mehr Infos zum Tutoring System „SCRIPT“ enthält das Conference Paper von Deriyeva, Dannath & Paassen (2025).

Wie aufwändig ist die Entwicklung solcher Methoden und was sollte man beachten? Gab es auch Rückschläge?

Benjamin Paaßen: Historisch war die Entwicklung solcher Systeme sehr aufwändig, weil jede mögliche Rückmeldung für Studierende händisch vorprogrammiert werden musste. Inzwischen haben wir – dank großen Sprachmodellen – die Möglichkeit, Hilfestellungen weitgehend automatisiert zu generieren. Lehrende müssen eigentlich nur noch Aufgabenstellungen  und Tests für die Lösungen entwickeln.

Rückschläge gab es trotzdem zuhauf: einerseits technisch, weil wir als Machine Learning-Forschungsgruppe vieles selbst entwickeln wollten statt fertige Komponenten zusammenzustecken. Aber vor allem auf Nutzungsseite: Studierende hatten einfach wenig Anreiz unser System zu benutzen, weil wir es lange nur für optionale Bonusaufgaben einsetzen durften. In diesem Semester ist es uns jetzt nach drei Jahren Entwicklungszeit endlich gelungen, alle beteiligten Universitätsgremien zu überzeugen, dass wir das System auch für die regulären Übungsaufgaben verwenden dürfen.

Ich würde Hochschulen aber trotzdem unbedingt ermutigen, sich auf den Weg zu machen, solcherlei Systeme zu etablieren. Es braucht nicht viele Personen – ich habe daran mit zwei Doktorand*innen und einer Hilfskraft gearbeitet. Es braucht bloß viel Zeit und Geduld, die Aufgabenstellungen und die genaue Einbettung in den Lehralltag immer und immer wieder zu verbessern, bis die Benutzung des Systems so organisch und effizient ist wie das Aufschlagen eines Lehrbuchs.

Gibt es weitere Projekte aus Deiner Arbeitsgruppe, die Du gerne kurz vorstellen möchtest?

Benjamin Paaßen: Wir arbeiten nicht nur an umfangreichen Tutoring-Systemen, sondern auch an kleineren Systemen, die Hochschulen noch direkter einsetzen können. Zum Beispiel forschen wir an so genannten „Retrieval Augmented Generation“ (RAG)-Systemen; das sind Chatbots, die Studierendenanfragen nicht einfach mit einem großen Sprachmodell beantworten, sondern vorher im Lehrmaterial einer Veranstaltung suchen und diese Materialien auch korrekt als Quellen verwenden können. All unsere Systeme betreiben wir außerdem selbst vor Ort mit einem eigenen Sprachmodell-Server, auf dem Open-Source-Sprachmodelle laufen. Wir müssen keinerlei Studierendendaten an OpenAI weiterleiten. Diese Systeme können auch andere Hochschulen mit wenig Aufwand nachbauen. Unser RAG-System etwa war innerhalb von vielleicht 4 Wochen einsatzbereit und ein Doktorand hat das allein gebaut.

Wie verändert die rasante Weiterentwicklung von KI gerade Euer Arbeitsfeld? Werden gerade adaptive Unterstützungsformen möglich, die vorher nicht umsetzbar gewesen wären?

Benjamin Paaßen: KI ist ja ein riesen Forschungsfeld mit ganz vielen, diversen Methoden. Es gibt schon ganz lange Forschung zu „KI“ in der Bildung; seit den 1970ern etwa. Ich forsche seit 2015 zu Methoden des maschinellen Lernens (also einer bestimmten Art von „KI“) für die Bildung. Aber Ihr meint bestimmt große Sprachmodelle (englisch: large language models, LLMs). Und die haben in der Tat das gesamte Feld umgekrempelt. Denn vermeintlich lassen sich ja ganze Tutoring-Systeme jetzt rein durch LLMs umsetzen. Man braucht eine Aufgabenstellung? Kein Thema: Frag ein LLM. Studierende möchten gern Hilfe haben? Frag ein LLM. Die Lösung muss bewertet werden und es soll Feedback geben? Frag ein LLM. Sogar das Tutoring-System selbst kann man sich durch ein LLM zusammenprogrammieren lassen. Und so ist jetzt der Markt ziemlich geflutet von vermeintlichen Bildungstechnologien.

Das sind aber leider häufig Technologien, die zu viel oder die falsche Unterstützung geben, mehr Lernen suggerieren als tatsächlich stattfindet, und nicht unbedingt verlässlich funktionieren. Also: Systeme so zu bauen, dass Studierende wirklich etwas lernen und nicht nur suggeriert bekommen, sie würden etwas lernen – das ist dann gar nicht mehr so leicht, sondern kann Jahre dauern. Und diese Erkenntnis setzt sich auch zunehmend (wieder) durch, scheint mir.

Auf der Homepage Eurer Arbeitsgruppe weist Ihr darauf hin, dass der „Bereich Bildung hochgradig sensitiv“ ist und Ihr deshalb Methoden entwickelt, die einen „verantwortungsvollen, transparenten und fairen Einsatz von KI ermöglichen“. Was bedeutet das konkret?

Benjamin Paaßen: Das kann man an unserem Systemdesign konkret sehen. Zum ersten daran, wofür wir unser System überhaupt auslegen, nämlich ausschließlich für die Unterstützung bei den Hausarbeiten, wo ein direkter Kontakt mit der Lehrkraft nicht möglich ist. Wir generieren keine Aufgaben, wir benoten nicht – kurzum: wir ersetzen keine Lehre. Wir ergänzen Lehre.

Zweitens sieht man das daran, dass wir die Kernmodule unseres Tutoring-Systems interpretierbar bauen: Die Aufgabenstellungen und Kompetenzen habe ich als Lehrkraft selbst definiert. Die Schätzung des Lernfortschritts geschieht nicht durch ein tiefes neuronales Netz sondern durch ein ganze einfaches, statistisches Modell, das ich vollständig verstehen kann: Ich kann genau sagen, aufgrund welcher richtigen und falschen Antwort die Einschätzung zustande kommt. Und der Maßstab für Richtigkeit sind von mir als Lehrkaft erstellte Tests, kein Sprachmodell.

Drittens sieht man das daran, wie wenig und wofür wir große Sprachmodelle einsetzen, nämlich ausschließlich bei der Generierung von Hilfestellungen – und das gerade so, dass nur der nächste Schritt vorhergesagt und dann erklärt wird, sodass die Studierenden noch selbst lernen. Hier forschen wir auch noch weiter: An Sprachmodell-Varianten oder -Alternativen, die noch transparenter, verlässlicher und ressourcenschonender sind. 

Vielen Dank!