Abstracts

  • Learner Modelling (Jonas Betzendahl)
    • The design of effective digital learning environments depends crucially on the quality of their learner models. At their core, learner models represent a system’s best estimate of what an individual learner currently knows and how their competencies develop over time. In this talk, we will discuss the learner modelling approach developed for ALeA, the VoLl-KI learning platform developed at FAU and aimed at providing helpful, adaptive, and successful learning experiences. Our model keeps track of learner knowledge at a fine-grained level, mapping specific concepts and cognitive skills rather than focusing only on broad topics. This granularity allows for the development of personalised educational services that take the learner’s exact current level of knowledge into account. For example, it enables both precise feedback and suggestions to learners and nuanced pedagogical summaries for teaching personnel, resulting in a uniquely suitable array of learning services. We will begin by quickly revisiting the basics: the fundamental structure of out learner model and the theoretical background that underpins it. The model will be described in terms of its representation of learners, concepts, the relationships between them as well as possible interactions with the system. We will also learn about the main software components that implement and maintain the model for the ALeA platform. The central part of the talk is concerned with our investigation into the process of updating the learner model. The principle that a learner’s successful interaction with the provided course materials should increase rather than decrease the system’s estimate of their knowledge for the relevant concept is, of course, self-evident. What is far less obvious and straightforward is deciding exactly by how much that estimate should change, exactly what concepts should be updated and how different types of interactions should be weighted in comparison. For example, overly aggressive updates may lead to volatile and unstable estimates, while overly conservative updates may obscure genuine learning progress. To explore these issues, we will discuss an evaluation of two distinct approaches to updating the learner model as well as a simple control approach for comparison. Each of these approaches embodies a different stance on the dynamics of learning and each has been implemented and tested within the ALeA system. The evaluation focuses on the three approaches' predictive accuracies (i.e. how closely computed learner models align with later observed learner performance in related quizzes and course exams) compared to each other but also includes other, potentially related, factors such as time spent interacting with the system and total interaction count. The talk will close with reflections on some of the ALeA learner modelling eco-system's design decisions that were not evaluated directly as well as possible future directions for the project. Learner modelling is as much a practical engineering challenge as it is a theoretical one, and the design choices made shape the entire learning experience. By examining these choices explicitly and comparatively, we hope to contribute to a more transparent and evidence-based foundation for similar and related adaptive learning systems.
  • Referenz-Architektur für personalisierte, datenschutzkonforme Lernempfehlungen an Hochschulen (André Deuerling und Felix Böck)
    • Studierende werden immer heterogener in Bezug auf deren Vorbildung und Lernpräferenzen, um so wichtiger ist es, adaptive Hilfestellungen beim Lernen anzubieten, um Studierende nachhaltig bei ihrem Lernerfolg zu unterstützen. Dies soll über individuelle Empfehlungen von passenden Lernelementen passieren. Das Empfehlungssystem verwendet als Basis für Empfehlungen nicht nur Daten zum Nutzerverhalten, sondern auch strukturelle Informationsquellen wie etwa ein Lernendenmodell oder Domänenontologien. Dieser Beitrag skizziert eine Referenz-Architektur für personalisierte, datenschutzkonforme Lernempfehlungen an Hochschulen. Aufbauend auf Vorarbeiten zum Learner Model (LM) und empirischen Ergebnissen aus relevanten Papers (Forschungsergebnisse) beschreiben wir eine Referenzarchitektur (Ref Arc), die Verhaltensdaten aus einem Learning Record Store (LRS), Wissensdaten über den Lerner aus dem Learner Model, eine Domain Ontology sowie kuratierte Learning Elements integriert. Kern ist ein zweistufiger, LLM-basierter Empfehlungsprozess (PoC): (1) Stufe 1 filtert aus der Datenbasis kontextrelevante Inhalte; (2) Stufe 2 personalisiert via Learner Model die Auswahl und Begründung. Context Engineering und – wo sinnvoll – Model Context Protocol (MCP)-gestützte Orchestrierung binden Quellsysteme und Wissensquellen (wie das Learner Model und die Domänenontologie) an und sichern reproduzierbare Prompt-/Kontext-Pipelines. Die Live-Demo zeigt einen beispielhaften Weg von Lernaktivitäten über LRS-Ereignisse und Ontologie-Mapping hin zu transparent begründeten Empfehlungen im LMS. Im Ausblick bleiben zentrale Aspekte bewusst offen und bislang noch nicht vertieft: Für DSGVO und das vorgesehene Datentreuhandmodell des Learner Model existiert noch kein konsistentes Governance- Konzept; Fragen zur Zweckbindung, zum Einwilligungsmanagement, zu Löschfristen und zur Auditierbarkeit sind zu präzisieren. Ebenso ist der Übergang in den produktiven Betrieb ungeklärt: Die heterogene Hochschul-IT — unterschiedliche Campus- und Prüfungsverwaltungssysteme (z. B. CEUS, PRIMUSS u. ä.) sowie verschiedene Lernplattformen (Moodle, ILE u. ä.) — wird aktuell nicht vollständig unterstützt, und auch technische wie rechtliche Zugriffswege auf hochschulische Daten sind bisher nicht definiert. Zudem zeigt sich ein Spannungsfeld bei der Modellwahl: Lokale Modelle vereinfachen den Datenschutz, liefern nach ersten Beobachtungen jedoch deutlich geringere Qualität; Online-Modelle überzeugen typischerweise in der Güte, verlangen aber strengere Regelungen zur Datenübertragung und -sicherheit.
  • Exploring Personalised Study Planning with Baula – Current Approaches and Future Directions (Michaela Ochs)
    • Throughout recent years, addressing a heterogeneous body of students has been an important topic in the higher education community (Ehlers, 2018). Just as teaching needs to engage students with different backgrounds, trajectories and preferences, so must organisational processes like study planning. Creating a long-term study plan requires considering multidimensional criteria such as time constraints and prerequisites (Ochs et al., 2023). The endeavour becomes even more challenging when this plan should also align with personal interests or career aspirations. This talk examines how we can understand the concept of personalisation within the domain of study planning – an area between micro and macro level, which students often struggle with (Hirmer, 2023) and which has gained growing research interest as we see the rise of digital study assistants (Karrenbauer, 2021). Some systems already address personalised study planning and recommender functionalities (Weber, 2022), ranging from course suggestions to recommendations of supplementary resources such as Open Educational Resources. In order to showcase how we put personalisation into practice, we introduce the digital study planning assistant (DSPA) Baula. In particular, we present the current long-term study planning feature and its interplay with module recommendations created by a hybrid approach. While we could also gather insights from students’ study progress data and trajectories, our current emphasis lies on the content-based part of the hybrid personalisation functionality. This means generating module recommendations from student input such as links to individually selected job postings, the selection of predefined job profiles or thematic interests. We will provide insight into the broader research endeavour and outline current challenges in exploring suitable external data sources (e.g. employment websites or definitions of job profiles). We will demonstrate how students can interact with the generated recommendations, adjust them according to their needs and thereby realise their personal preferences and constraints. Our aim is to offer students a transparent and unobtrusive tool to explore these external data sources autonomously, while providing the necessary information related to study planning for making informed, conscious study decisions. With the purpose of sketching further possibilities within this area, we also present research directions that intersect with this personalisation work such as Adaptive User Interfaces (AUI), Gamification, or chatbots and discuss how these elements may be integrated into the current system. Finally, we give an outlook on how Baula may be extended in the coming years to support important student decisions before, during and after their studies, particularly at the transition into working life. We thereby introduce possible future directions for follow-up projects in the context of Baula, in which further data sources will be evaluated to support purpose-driven studying.
    • References
      • Ehlers, U. (2018). Die Hochschule der Zukunft: Versuch einer Skizze. In U. Dittler & C. Kreidl (Eds.), Hochschule der Zukunft (S. 81–100). Springer Fachmedien Wiesbaden. https://doi.org/10.1007/978-3-658-20403-7_5
      • Karrenbauer, C., König, C. M., & Breitner, M. H. (2021). Individual Digital Study Assistant for Higher Education Institutions: Status Quo Analysis and Further Research Agenda. In Innovation Through Information Systems: Volume III: A Collection of Latest Research on Management Issues (S. 108–124). Springer International Publishing. https://doi.org/10.1007/978-3-030-86800-0_8
      • Hirmer, T., Ochs, M., & Henrich, A. (2023). Studierende und die Studienplanung: Untersuchung von Herausforderungen und Entwicklungsperspektiven eines digitalen Studienplanungsassistenten. 291–292. https://dl.gi.de/handle/20.500.12116/42223
      • Ochs, M., Hirmer, T., Past, K., & Henrich, A. (2023). Design-focused development of a course recommender system for digital study planning. In European Conference on Advances in Databases and Information Systems (S. 575-582). Cham: Springer, https://doi.org/10.1007/978-3-031-42941-5_50
      • Weber, F., Schrumpf, J., Dettmer, N., & Thelen, T. (2022). A Web-Based Recommendation System for Higher Education: SIDDATA: History, Architecture and Future of a Digital Data-Driven Study Assistant. International Journal of Emerging Technologies in Learning (iJET), 17(22), Article 22. https://doi.org/10.3991/ijet.v17i22.31887
  • Software Engineering Learning Methods Evaluation (Sebastian Janusch)
    • Abstract:
      Lernmethodenevaluation im Modul Software-Engineering Die Evaluation wurde im Rahmen des Forschungsprojekts VOLL-KI (iLE (individualized learning environment) durchgeführt. Ziel dieses VOLL-KI-Projektes ist die Schaffung einer digitalen Lernwelt, gestützt durch daten- und wissensgetriebene Künstliche Intelligenz, zur Unterstützung individueller Lernprozesse. Grundlegend wurde evaluiert, welche Lerntechniken und -methoden Studierende des Software Engineering Modul effektiv nutzen, um gezielt und strukturiert zu lernen. Es wurden zwei Hypothesen aufgestellt. Hypothese 1 das spezifische Lernmethoden besser zum Lernen der relevanten Stoffinhalte im Modul Software Engineering geeignet sind und Hypothese 2, dass spezifische Methoden für die Vermittlung des Vorlesungsstoffes eine untergeordnete Rolle einnehmen.

      Methodik
      Die Methodik der Evaluation wurde folgend definiert: Die Studienpopulation umfasste Studierende des Moduls Software Engineering im Wintersemester 23/24 an der Hochschule Coburg. 69 Studierende nahmen an der Modulprüfung teil. 22 Personen (31,88 %) teilten ihre Lernerfahrungen in der angebotenen Evaluation. Das Evaluationsdesign basierte auf der Nutzung eines digitalen Lerntagebuchs, über den Zeitraum vom 15.11.2023 bis zum 24.02.2024, in dem die Lernenden Datum, Dauer, Lernmethode, Lerninhalt, eine subjektive Bewertung anhand einer Likert-Skala und eine Begründung dokumentierten. Insgesamt wurden 10 unterschiedliche Lernmethoden mit 437 Anwendungen dokumentiert, was einer Gesamt-Lernzeit von knapp 650 Lernstunden (38.985 Minuten) entspricht. Die Auswertung erfolgte qualitativ und quantitativ, insbesondere durch Ranking nach Lernminuten und gewichtetem Mittelwert. Der gewichtete Mittelwert berücksichtigte sowohl die subjektive Bewertung (Qualität) als auch die Anzahl der Nutzer (Quantität).

      Zentrale Ergebnisse dieser Evaluation
      Die beliebtesten und effektivsten Methoden waren eindeutig auf Platz 1 positioniert das „Übungen machen“. Diese Methode rangierte sowohl nach Lernzeit (15.235 Minuten, 20 Nutzer) als auch nach gewichtetem Mittelwert (3,98) auf Platz 1. Sie wurde hauptsächlich zur Prüfungsvorbereitung (54 Nennungen) und zur Vertiefung des Verständnisses von UMLDiagrammen (73 Nennungen) genutzt. Die Begründungen, weshalb spezifisch diese Methode genutzt wurde, umfasste die Aspekte Wissensvertiefung, Anwendung und Effizienz. Auf Platz 2 konnte das „Soziale Lernen“ identifiziert werden. Diese Methode belegte Platz 2 nach Lernzeit (6.535 Minuten, 18 Nutzer) und nach gewichtetem Mittelwert (3,78). Der Fokus lag vor allem auf der Prüfungsvorbereitung (Altklausuren) und der Besprechung von UMLDiagrammen. Die Studierenden schätzten besonders die Gruppenarbeit und Zusammenarbeit (31 Nennungen), da dies eine Fehlerkorrektur und ein tieferes Verständnis des Gelernten ermöglichte. Weitere Methoden im mittleren Feld, wie Lesen & Unterstreichen (5.955 min, gewichteter Mittelwert 2,73) und Exzerpieren (5.890 min, gewichteter Mittelwert 2,71), wurden zwar häufig angewendet, galten jedoch als weniger effektiv als die führenden Methoden, wobei sie als nützliche Ergänzung zur Wissensstrukturierung dienten. Lernvideos (2.155 min, gewichteter Mittelwert 2,36) wurden von einer kleineren Gruppe geschätzt, hauptsächlich um Verständnisprobleme, insbesondere bei UML-Diagrammen, durch visuelle und wiederholbare Erklärungen zu beseitigen. Die am wenigsten genutzten Methoden (Mindmapping, Quizze, Karteikarten, Zuhören) wiesen die niedrigsten gewichteten Mittelwerte auf (z. B. Zuhören bei 0,32) und scheinen für die Mehrheit weniger populär oder effektiv zu sein.

      Fazit und Ausblick
      Die erste Hypothese das „Spezifische Lernmethoden sich besser eignen“, konnte durch die klare Führung von "Übungen machen" und "Soziales Lernen" bestätigt werden. Die zweite Hypothese das „Spezifische Lernmethoden eine untergeordnete Rolle einnehmen“ konnte teilweise bestätigt werden, da einige Methoden, wie z.B. Zuhören und Quizze deutlich weniger genutzt wurden, aber dennoch für einzelne Lernende Relevanz besitzen. Die identifizierten bevorzugten Methoden ermöglichen einen erfolgreichen Transfer von Wissen in die Arbeitswelt. Hinsichtlich der Implementierung von Lernmethoden in das „iLE (individualized learning environment)“ wird empfohlen, die Methoden „Übungen machen“ und „Soziales Lernen“ frühzeitig in die digitale Lernumgebung zu implementieren, möglicherweise durch ein Peer-to-Peer - Teaching Modell mit Anreizsystemen und Rankings, um Fach-, Sozial- und Methodenkompetenz zu fördern.
  • iLE (individualized learning environment): Peer Review-Verfahren (Sebastian Janusch und Melanie Fraas)
    • Die Lernplattform iLE (individualized Learning Environment) wurde im Rahmen des Projekts VoLL-KI entwickelt, um Studierende im Informatikstudiengang des Moduls Software Engineering zu unterstützen. Die Entwicklung reagierte auf den Wunsch früherer Kohorten nach mehr Übungsaufgaben und insbesondere nach fundiertem Feedback zu ihren Lösungen. iLE dient als zusätzliche, freiwillige, selbstgesteuerte und asynchrone Lernmöglichkeit und soll vielfältige Wege bieten, die Inhalte zu üben und zu vertiefen. Der Schwerpunkt liegt auf der Vorbereitung der Studierenden zur Erstellung und Korrektur von UML-Diagrammen im Hinblick auf das anstehende Mini-Praktikum und die obligate Prüfungsleistung. Das didaktische Konzept basiert auf einem konstruktivistischen Ansatz, der die aktive Wissenskonstruktion durch eigene Erfahrungen, Reflexion und sozialen Austausch hervorhebt. Als zentrale Lernmethode zur optimalen Verknüpfung von Übung und sozialem Austausch wurde das Peer- Review-Verfahren, angelehnt an die Jigsaw Methode nach Aronson (1971), integriert. Das Peer Review -Verfahren ermöglicht es Studierenden, die Arbeiten ihrer Kommilitoninnen und Kommilitonen konstruktiv zu korrigieren. Durch die Analyse fremder Arbeiten schärfen die Lernenden ihre kritische Beurteilungsfähigkeit und festigen ihr Verständnis des Vorlesungsmaterials. In iLE (individualized learning environment) finden Studierende Aufgabenstellungen in zwei Varianten. Entweder müssen sie ein Szenario bearbeiten, um ein UML-Diagramm zu erstellen oder sie suchen Fehler in bereits existierenden, fehlerhaften Diagrammen. Fünf spezifische Diagrammtypen können bearbeitet werden. Anwendungsfalldiagramm, Aktivitätsdiagramm, Klassendiagramm, Sequenzdiagramm und Zustandsdiagramm. Die erstellten Diagramme können entweder über einen eingebauten Editor eingereicht oder als PDF-Dokument hochgeladen werden. Das Peer-Review-Verfahren ist als doppelte Feedbackschleife strukturiert und nutzt ein Punktesystem zur Motivation. Die Lernenden sind bereits im Rahmen der Vorlesung Stammgruppen und Expertengruppen zugewiesen. Für die initiale Einreichung erhält der Ersteller (Stammgruppe) 1 Punkt. Der Reviewer (Expertengruppe), der den Auftrag annimmt, hat zwei Tage Zeit zur Korrektur und erhält dafür 1 Punkt. Nach Einarbeitung des Feedbacks und erneutem Hochladen erhält der Ersteller 3 Punkte. Für die abschließende Überprüfung der Verbesserung durch den Reviewer werden diesem weitere 3 Punkte zugestanden. Sollte der zugewiesene Reviewer das Diagramm nicht bearbeiten können, wird es nach einer Frist von fünf Tagen automatisch für alle Experten der Expertengruppe freigeschaltet. Zur Steigerung der Lernmotivation ist in die Plattform ein Ranking-System integriert, dessen Punktevergabe an das Peer-Review- Verfahren gekoppelt ist. Studierende entscheiden selbst, ob ihr Ranking öffentlich oder anonymisiert angezeigt wird. Zur Personalisierung und Unterstützung wird initial bei der Nutzung der Lernplattform eine Lerntypentestung nach Kolb durchgeführt, um in Kombination mit dem Aktivitätstracking das Lernverhalten zu analysieren und zukünftig über ein KIgestütztes Recommender-System weitere passende Lernelemente vorzuschlagen. Die Nutzung des Peer-Review-Verfahrens wird insbesondere im Zeitraum von Mitte November bis zum Beginn des Praktikums im Wintersemester als sinnvoll erachtet. Die Evaluation des Erfolgs der angewendeten Methode soll mittels Fragebögen und Interviews, nach Ablegen der Modulprüfung, erfolgen. Weitere Erkenntnisse sollen aus der Auswertung, der durch das Aktivitätstracking generierten Daten, gewonnen werden. Das entwickelte Peer Review - Verfahren wurde den Studierenden des WS 24/25 im Rahmen der Vorlesungszeit vorgestellt und in die bestehende Lernplattform implementiert. Den Lernenden wurden Zugänge zur Lernplattform erstellt und freigeschalten. Von den ca. 80 eingeschriebenen Studenten haben lediglich 10% die Lernplattform, im speziellen das Peer Review – Verfahren, angeschaut aber letztendlich dann doch nicht genutzt. Hier besteht dringender Bedarf der Evaluation, um den Faktoren der Ablehnung auf den Grund zu gehen. Erste Vermutungen lassen sich auf eine zu hoch gesteckte Einstiegshürde, eine Überforderung mit dem Konzept und/oder eine gewisse Ablehnung an zusätzlichen digitalen Angeboten, nachdem ein Großteil der Lernenden direkt in der Corona Pandemie ihren Start ins Studium hatte, erkennen. Weitere Forschung ist unter diesen Aspekten notwendig.
  • APFEL – Adaptive Programming Feedback for E-Learning (Dominic Lohr)
    • Feedback gilt als einer der entscheidendsten Faktoren für den Lernerfolg in der Programmierausbildung. Viele bestehende Systeme für automatisiertes Feedback liefern jedoch überwiegend einfache Feedback-Typen, die lediglich auf die Korrektheit der Lösunng eingehen, statt elaborierte Feedbacktypen bereitzustellen, die z. B. Ursachen erklären oder konkrete Hinweise für den nächsten Schritt geben. Ein wesentlicher Grund dafür liegt im hohen Modellierungsaufwand: Um differenziertes Feedback erzeugen zu können, muss relevanter Kontext wie Aufgabenmerkmale, Vorkenntnisse und Lernendenprofile maschinenlesbar verfügbar sein. Der Prototyp APFEL (Adaptive Programming Feedback for E-Learning) adressiert diese Herausforderung, indem er Lernendenantworten systematisch Answer Classes zuordnet und auf Grundlage semantisch annotierter Kursmaterialien verschiedene Feedbacktypen bereitstellt. Diese Feedbacknachrichten werden mittels Large Language Models (LLM) generiert, wobei regelbasiert ermittelter Kontext aus der Aufgabenanalyse und dem Lernendenmodell in die Prompt-Erstellung einfließt. Die Architektur von APFEL integriert drei Komponenten: (A) JACK, ein E-Assessment-System für Programmieraufgaben, das statische und dynamische Analysen von Java-Code ermöglicht und Lösungen automatisiert sogenannten Answer Classes zuordnet. JACK ist aufgrund seiner modularen Architektur leicht erweiterbar und erlaubt die Erstellung aufgabenspezifischer Analyse-Regeln. (B) ALeA, ein adaptiver Lernassistent, der semantisch annotierte Kursmaterialien auf Basis des Y-Modells nutzt und durch ein Lernendenmodell Einblicke in bereits verstandene Konzepte liefert. (C) GPT-4, das zur Generierung von Feedback eingesetzt wird. Um adaptives, kontextsensitives Feedback zu ermöglichen, wird Retrieval-Augmented Generation (RAG) genutzt, wodurch Informationen aus Codeanalyse, Answer Classes, Lernendenmodell und Aufgabenmetadaten in die Prompt-Erstellung einfließen. Lernende interagieren mit APFEL über drei zentrale Funktionen: RUN (Code ausführen und Compiler-/Konsolenausgaben erhalten), TEST (Ergebnisse der statischen und dynamischen Analyse sowie Beschreibungen der zugeordneten Answer Classes einsehen) und HELP (Auswahl verschiedener Feedback-Typen, welche durch GPT-4 auf Basis des individuellen Lernkontexts generiert werdem).
  • Flexiformal HTML for Educational Active Documents (Dennis Müller)
    • We give an overview of FTML, a collection of attributes for annotating HTML documents with their flexiformal semantics, and the Flams system for managing such documents and annotations. This enables (inter)active documents with integrated learner-adaptive services for educational purposes. FTML attributes serve two purposes: Firstly, they allow for declaring new concepts that can be referenced via globally unique URIs, organized in document-independent modules, which collectively form a domain model. Secondly, they allow for making explicit, and hence software-actionable, the didactically relevant contents of documents, by relating them to concepts in the domain model, such as definitions (and which concepts they define), statements (and which concepts they concern), proofs, term references (into the domain model), sections, problems, and their various properties such as definienda, learning goals, prerequisites, etc. This allows various educational services to be integrated into FTML documents, that benefit learners either directly or indirectly. The former include features such as definitions-on-hover, notation changes based on learner preference, or generating "guided tours"; i.e. mini-courses targeting specific knowledge gaps of learners. The indirect features include updating learner models on the basis of the domain model in response to learner's interactions with documents, such as reading a definition or answering a semantically annotated (e.g. multiple choice) problem. The sTeX package for LaTeX can be used to produce FTML documents, but other source formats targeting FTML exist (WOIDE - a plugin for MS Word) or are being developed (e.g. a Markdown dialect). The Flams system serves as a backend for the domain model and FTML documents by providing (public) endpoints for querying, searching, retrieving, and browsing documents and document fragments and metadata about concepts in the domain model and their relations. FTML documents and the Flams system running at https://mathhub.info form the backbone of the ALeA system, our adaptive learning assistant in active use by +1000s of students at (primarily) FAU and other universities. Students interacting with semantically annotated documents.
  • Recontextualizing Learning Material (Marcel Schütz)
    • University education is nowadays often confronted with the situation of many students with diverse educational backgrounds being taught by a very limited number of teaching staff. This makes it nearly impossible for the teachers to respond to the individualized learning needs of every student. To overcome this issue, adaptive learning assistants can be used to complement the work of the teachers: They can automatically track the learning progress of each student and can adapt the learning material provided by the teachers to each student's individual learning level and background knowledge. The ALeA system, an adaptive learning assistant developed at FAU, combines several design principles that foster this adaptivity approach: Learning material is provided as semantically annotated documents with an underyling domain model that is structured as a theory graph. A theory graph consists of (mathematical) theories that contain declarations of concepts together with, e.g., definitions of and assertions about them, and morphisms between those theories that allow to interpret the concepts of one theory in the context of another one. For example, as every automaton induces a graph given by its state diagram, we get a theory morphism from the theory of graphs to the theory of automata. Provided with learning material that is annotated with concepts from, e.g., the theory of graphs we can translate this material along that morphism to get new learning material based on the theory of automata. We call this translation process "recontextualization". Imagine for instance a student who was provided with learning material about automata which is interspersed with concepts from graph theory (e.g. by making assertions about paths between two states of an automaton). Unfortunately, however, the student has no clue about graph theory. By recontextualizing their learning material, we can adapt it to a version in which all concepts from graph theory are redefined in the language of automaton theory which increases the accessibility of the learning material for the student. We show how such a recontextualization process can be carried out automatically which allows to implement it in adaptive learning assistants like the ALeA system: With a carefully designed grammar that covers sufficiently large parts of natural language, we are able to parse a certain range of learning material to an abstract syntax tree (AST) format. We can then reinterpret ASTs along theory morphisms. However, applications of theory morphisms tend to result in AST representations of learning material which is semantically correct though, but whose linearization often does not sound very natural. We therefore have been collecting and implementing a set of natural language transformation rules that can be used to "polish" the result of such a morphism application before the resulting AST is linearized again. By basing this approach solely on symbolic methods, we are able to guarantee both grammatical and semantical correctness of the recontextualization outputs – a must in the educational setting.
  • A dataset of annotated video lectures and an interactive support assistant for self-study (Markos Dimitsas und Jochen Leidner)
    • We present a new resource and system for self-directed learning built from university lecture videos collected in partnership with course instructors. The corpus organizes each course into lectures with aligned audio, transcripts, and lightweight metadata. For a subset, we add humancurated chapter markers and automatic segment boundaries. We benchmark multiple segmentation strategies—including lexical-cohesion (e.g., TextTiling), pause-based audio cues and LLM-based approaches. For evaluation we report standard boundary metrics (Pk, WindowDiff) against available chapter references, highlighting failure modes common in lectures (e.g., quasi-periodic cuts and drift with variable speech rates). On top of these segments, we build an interactive study assistant that performs retrieval-augmented question answering. User queries retrieve relevant segments and complementary Wikipedia snippets, and the interface returns concise answers with time-linked video clips for immediate replay. Our contributions are: (1) a curated, structure-rich lecture dataset, (2) a comparative analysis of different segmentation approaches for educational video and (3) an open, modular assistant that couples segment-level retrieval with external encyclopedic context and clip playback.
  • Datengetriebene Studiengangsanalyse: Prüfungs- und Studienverlaufsdaten an der Universität Bamberg im Rahmen von VoLL-KI (Rose Fleck und Achim Ulbrich-vom Ende)
    • Im Teilprojekt der Otto-Friedrich-Universität Bamberg wurden im Rahmen von VoLL-KI Datenbestände aus FlexNow in das Data-Warehouse CEUS übernommen, überarbeitet und konsolidiert. Auf dieser Basis wurde eine neue VoLL-KI-Domäne aufgebaut, in der Prüfungsdaten DSGVO-konform bereitgestellt und in Dashboards visualisiert werden. Parallel stehen in der bestehenden SLC-Domäne bereits aufbereitete Studienverlaufsdaten zur Verfügung, die durch Dashboards visualisiert werden können. Durch die Kombination beider Datenstränge können erstmals fundierte Kennzahlen zu Prüfungszeitpunkten, Bestehens- und Schwundquoten, Einschreibungen, Fachsemestern und Kohortenverläufen bereitgestellt werden. Diese Analysen liefern eine belastbare Grundlage für evidenzbasierte Entscheidungen zur Studiengangsgestaltung und ermöglichen es, kritische Trends frühzeitig zu erkennen. Im Beitrag zum Abschlusstreffen werden exemplarische Dashboards und Kennzahlen vorgestellt und aufgezeigt, wie die Ergebnisse für ein datengetriebenes Studiengangsmonitoring und den Transfer auf weitere Studiengänge genutzt werden können.
  • „Pauken bis zum Umfallen oder Netflix bis zur Prüfung?“ - Das Lern- und Prüfungsverhalten Studierender an der Hochschule Coburg (Melanie Fraas)
    • Das Studium stellt für viele junge Erwachsene eine prägende Lebensphase dar, die sowohl Chancen für persönliche Entwicklung als auch erhebliche Herausforderungen für Lern- und Prüfungsprozesse mit sich bringt. Die zunehmende Digitalisierung der Hochschullehre eröffnet neue Möglichkeiten, Lernprozesse flexibler und individueller zu gestalten. Digitale Lernformate versprechen, besser auf die unterschiedlichen Bedürfnisse der Studierenden reagieren zu können. Voraussetzung dafür ist jedoch ein vertieftes Verständnis darüber, wie Studierende tatsächlich lernen, welche Strategien sie anwenden und mit welchen Herausforderungen sie im Studienalltag konfrontiert sind. Vor diesem Hintergrund wurde das Lern- und Prüfungsverhalten von Studierenden mit einem Mixed-Methods-Ansatz untersucht. Ziel war es, typische Muster und Problemlagen zu identifizieren und diese durch qualitative Einblicke in individuelle Wahrnehmungen und Bewältigungsstrategien zu ergänzen. Für die quantitative Erhebung wurde im Frühjahr 2025 eine Online-Befragung durchgeführt, an der 119 Studierende der Hochschule Coburg teilnahmen. Die Stichprobe setzte sich zu 75 % aus Bachelor- und zu 25 % aus Masterstudierenden zusammen; 56 % der Teilnehmenden waren weiblich, 38 % männlich; das Alter lag zwischen 18 und 50 Jahren. Der Fragebogen erfasste verschiedene Dimensionen des Lern- und Prüfungsverhaltens sowie wahrgenommene Probleme und Herausforderungen. Zwei Drittel der Studierenden berichteten dabei von Schwierigkeiten, sich zum Lernen zu motivieren, und beschrieben, überwiegend alleine und häufig bis an ihre Belastungsgrenzen zu lernen. Rund die Hälfte beginnt vergleichsweise spät mit der Prüfungsvorbereitung, empfindet eine erhöhte Fehleranfälligkeit und spricht sich für Prüfungsformate mit flexibler Zeiteinteilung oder für Take-Home-Exams aus. Prüfungsangst, Prokrastination und Ablenkbarkeit stellen für viele eine erhebliche Belastung dar. Etwa die Hälfte berichtete über Schwierigkeiten, sich zu entspannen, die Konzentration in Online-Meetings aufrechtzuerhalten oder Aufschieben zu vermeiden. Ein Drittel hat Probleme, ruhig sitzen zu bleiben, leidet unter übermäßigem Antrieb oder empfindet Ablenkungen als stark belastend. Zudem gab ein Viertel an, von einer Lernschwäche betroffen zu sein oder dies zu vermuten; von den diagnostizierten Fällen sah etwa die Hälfte deutliche Einschränkungen im Studium. Um die quantitativen Befunde zu vertiefen, wurden leitfadengestützte Interviews mit ausgewählten Studierenden durchgeführt. Die qualitativen Interviews verdeutlichten unterschiedlichen Routinen zur Stressbewältigung, die Bedeutung sozialer Unterstützung sowie persönliche Wegen der Prüfungsorganisation. Gerade Studierende, die von einer Lernschwäche betroffen sind, gaben an, mit einer Vielzahl von Herausforderungen zu kämpfen und nicht immer die Unterstützung zu erfahren, die sie benötigen würden. Für sie stellen bereits alltägliche Anforderungen wie die Anwesenheit in Vorlesungen oder das strukturierte Erarbeiten von Lernstoff erhebliche Hürden dar, die sich in standardisierten Prüfungsformaten zusätzlich verschärfen. Gleichzeitig wurde sichtbar, dass der Wunsch nach mehr Digitalität im Studium nur zum Teil vorhanden ist. Viel stärker äußerten die Befragten den Wunsch nach Gemeinschaft, nach einem Gefühl des Ankommens im Studium und nach mehr Austausch mit anderen Studierenden. Insgesamt zeigt sich, dass Lern- und Prüfungsverhalten nicht allein durch institutionelle Rahmenbedingungen geprägt ist, sondern durch ein komplexes Zusammenspiel von individuellen, sozialen und strukturellen Faktoren. Für die Hochschulpraxis eröffnen sich Ansatzpunkte für Unterstützungsangebote und eine flexiblere Gestaltung von Prüfungsformaten, die den heterogenen Bedürfnissen der Studierenden gerecht werden.
  • Ein Framework zur Evaluation von KI-gestützten Lernplatformen für Informatik im sekundären und tertiären Bildungsbereich (Felix Grelka, Marc Berges und Theresa Kruse)
    • Fortschreitende Digitalisierung und der zunehmende Einsatz von Künstlicher Intelligenz (KI) nehmen Einfluss auf alle Facetten des Bildungswesens. Insbesondere KI-basierte Lernassistenten haben das Potenzial, den Unterricht durch individualisierte Lernangebote zu transformieren und so die Motivation und Lernergebnisse zu steigern [Ng21]. Mit der Zunahme dieser Plattformen ist jedoch eine effektive Evaluation unerlässlich. Zwar wird in bestehenden Forschungsarbeiten das Potenzial von KI im Bildungswesen untersucht, doch es fehlen standardisierte Methoden, um die verschiedenen Tools und deren Auswirkungen auf unterschiedliche Lernende zu vergleichen und zu bewerten [HS23]. Angesichts dieser globalen Trends und der Notwendigkeit, KI-Technologien vertrauenswürdig und inklusiv zu gestalten, wird ein umfassender Evaluationsrahmen benötigt, der didaktische, pädagogische und ethische Aspekte berücksichtigt und eine fundierte Integration in bestehende Lehrkonzepte ermöglicht [HM+23]. Das vorgestellte Evaluationsframework basiert auf einer webbasierten Anwendung zur Erstellung und Durchführung standardisierter Online-Fragebögen und erfasst Daten zu verschiedenen Schlüsselfaktoren wie der pädagogischen Ausrichtung, Lernengagement, kognitiven Belastung, Usability, Akzeptanz des Tools, Wirksamkeit sowie der Zugangsgerechtigkeit. Durch die Nutzung etablierter Skalen aus diversen Forschungsrichtungen, insbesondere der Mensch-Maschine Interaktion (MMI) wird eine ganzheitliche Bewertung der Lernplattformen ermöglicht, wobei gleichzeitig auf die Anonymität der Teilnehmenden geachtet wird. Zur Validierung des Frameworks wurde eine Fallstudie mit einem in-house entwickelten adaptiven Lernassistenten (ALeA) durchgeführt, der begleitend zu einer Einführungsvorlesung zur künstlichen Intelligenz zum Einsatz kam [GLB25]. Am Ende des Semesters wurde eine anonyme mixed-methods Umfrage durchgeführt, die mittels des Frameworks erstellt wurde. Die Befragung umfasste etablierte Skalen zur Erfassung der subjektiven Arbeitsbelastung (NASA-TLX), der Usability (SUS) und der wahrgenommenen Creepiness (PCTS). Zusätzlich wurden Fragen zur allgemeinen Selbstwirksamkeit gestellt und anonymisierte Prüfungsdaten erhoben, um Korrelationen zwischen der Tool-Nutzung und den Klausurergebnissen zu untersuchen. Die quantitativen Daten der Studie wurden in R mittels Korrelations- und stochastischer Analysen untersucht, die qualitativen Daten kategorisiert. Die Ergebnisse der Umfrage mit 88 Teilnehmenden ergaben signifikant positive Korrelationen für die Häufigkeit der Nutzung von ALeA mit der Anzahl der proWoche aufgewendeten Studienzeiten, als auch mit der Häufigkeit der verwendeten Funktionen. Negativ korrelierten SUS-Wert und PCTS, sowie die Nutzung bestimmter Features auf Prüfungsergebnisse. Auch der PCTS korrelierte signifikant negativ mit den Klausurergebnissen. Des Weiteren gab es signifikante Unterschiede hinsichtlich der Feature- Nutzung zwischen den Geschlechtern, sowie bei Studierenden mit Konzentrationseinschränkungen. Die NASA-TLX-Werte zeigten eine moderate mentale Belastung. Die Ergebnisse legen nahe, dass bestimmte Funktionen falsch oder von Studierenden mit bereits vorhandenen Defiziten verstärkt genutzt werden. Die NASA-TLX, SUS und PCTS Werte bestätigen die Wichtigkeit eines nutzerzentrierten Designs für die Akzeptanz von und den effektiven Umgang mit KI-Systemen. Die bevorzugte Nutzung der kontextsensitiven Definitionsanzeige durch Studierende mit Konzentrationsschwierigkeiten unterstreicht zudem die Bedeutung von barrierefreiem Design zur Reduzierung der kognitiven Belastung. Insgesamt zeigen diese Ergebnisse, dass eine erfolgreiche Integration von KI im Bildungsbereich eine enge Verzahnung von didaktischen Zielen und nutzerorientiertem Design erfordert. Zukünftige Entwicklungen beinhalten die Integration fortgeschrittener Analysemethoden, um tiefere Einblicke in die Wechselwirkungen zwischen Lernenden und KI-Systemen zu gewinnen und so die Entwicklung effektiverer und gerechterer Lerntechnologien zu unterstützen.
    • References
      • [GLB25] Grelka, F.; Lohr, D.; Berges, M.: ALeA : Advancing Personalized Learning with Adaptive Assistance and Semantic Annotation, 2025.
      • [HM+23] Holmes,W.; Miao, F. et al.: Guidance for generative AI in education and research. Unesco Publishing, 2023.
      • [HS23] Harry, A.; Sayudin, S.: Role of AI in Education. Interdiciplinary Journal and Hummanity (INJURITY) 2 (3), S. 260–268, 2023, Stand: 13. 11. 2024.
      • [Ng21] Nguyen, T. et al.: Insights Into Students’ Experiences and Perceptions of Remote Learning Methods: From the COVID-19 Pandemic to Best Practice for the Future. Frontiers in Education 6, 2021, https://www.frontiersin.org/articles/10.3389/feduc.2021.647986.
  • The Symbolic Core Paradigm of Hybrid AI for Computer Supported Education (Michael Kohlhase)
    • Fueled by impressive technological advances and the promise of „automation without the effort“ machine learning methods — including large language models (LLMs) — have gained seeming dominance in AI in recent years. Aarne Ranta classifies automation tasks into consumer tasks (wide-coverage, mission-uncritical, minimal investment) and producer tasks (low-coverage, mission-critical, high-investment). The former are what we hear about in the media and the latter are often intentionally kept confidential by the companies that use them because they are critical to their bottom line. Hence much of symbolic AI (ideal for producer tasks) is used in industry but virtually invisible to the public. With its societal impact, higher education is certainly a producer task that critically needs control, explainability, and accountability as core goals/components, which ML and LLMs (currently) have considerable weaknesses at. –> EU AI Act (see below). Symbolic methods also tend to be frugal, in terms of user data, required infrastructure, and environmental impact which favors mass deployment. 2.2. The „Symbolic Core Paradigm“ for AI Applications Given the discussion above we propose the "Symbolic Core Paradigm for AI Applications. This paradigm insists that the core algorithms of an AI system manipulate symbolic representations (i.e. expressions in a formal language that has a standardized and an easily computable semantics) to compute, justify, and explain its results. Subsymbolic AI (e.g. statistical or neural machine learning methods) are explicitly admissible in symbolic core systems, but are restricted to non-critical components, sensory, and actuatory components on the periphery of the AI systems. For instance, for extracting symbolic representations from informal documents, images, or raw data assisting human authors in curating domain models, or generating natural language for the interaction with learners. The EU AI act is a European Union regulation that establishes a common regulatory and legal framework for AI within the European Union (EU); but like the GDPR it will probably have normative power over all providers that do business in the EU (which is everybody). It was enacted on August 1. 2024, and will be converted into national law in the three years after that. The EU AI act classifies all educational AI systems as high-risk systems with corresponding regulations, in particular such systems have to meet high standards of human oversight, accountability, transparency, and explainability. Depending on the interpretation, systems only based on machine learning and subsymbolic AI technologies will not currently be able to fulfill these. So, the symbolic core paradigm is a possible solution to establish AI systems in education.
  • FAUstairs: Formative Assessment for Universities: Strategic Application of Innovative Methods to Raise Study Success Rates (Felix Grelka, Marc Berges und Michael Kohlhase)
    • Bestehende Analysen der letzten Jahre zeigen eine rückläufige Studienerfolgsquote an der Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU) auf, die trotz vergangener Qualitätsinitiativen und kontinuierlichen Maßnahmen zum Qualitätserhalt bestehen bleibt. Studienerfolg wird an der FAU als Konzept definiert, das fachlichen Kompetenzerwerb, Persönlichkeitsentwicklung, zügigen Studienabschluss, gute Abschlussnoten und Anschlussfähigkeit an den Arbeitsmarkt umfasst. Dadurch wird deutlich, dass bestehende Fortschritte weiterer nachhaltiger Förderung und direkterer Unterstützungsmaßnahmen bedarf. Das Projekt FAUstairs an der FAU hat zum Ziel, diesen Trend zu erforschen und den Studienerfolg von Studierenden durch eine Neuentwicklung und Implementierung der Lehrarchitektur zu steigern. FAUstairs schließt in großen Teilen an die Erkenntnisse aus dem Projekt VoLL-KI - insbesondere dem Adaptiven Lernassistenten ALeA - an und setzt auf eine ganzheitliche Neugestaltung der Assessmentkonzepte, sowohl im formativen als auch im summativen Bereich. Im Sinne des Constructive Alignment wird durch passgenaue Abstimmung zwischen Lernergebnissen, Lehr- und Lernaktivitäten sowie Assessmentformaten eine Kultur des Feedbacks, der Fehlerakzeptanz und -reflexion sowie Selbstregulation im Lernprozess gefördert. Das Projekt stützt sich auf drei zentrale Säulen:

      • Didaktische Innovation: Durch die Einrichtung eines Assessmentlabs werden neuartige Assessmentformate erprobt, die auf die Förderung von Lern- und Fachkompetenzen zugeschnitten sind
      • Technische Innovation: Die Weiterentwicklung von KI-gestützten Digital Twins aus ALeA ermöglichen Lernverhalten zu erfassen und zu analysieren, wodurch passende didaktische Reaktionen der Lehrenden erleichtert werden
      • Nachhaltige Verankerung: Die Nutzung von in VoLL-KI etablierter Abläufe sowie die Integration in FAU-IT-Strukturen ermöglicht eine nachhaltige Einbringung von FAUstairs in den bestehenden und künftigen Studienablauf

      Das Hauptziel ist die langfristige Steigerung des Studienerfolgs durch eine überarbeitete Lehrarchitektur, die Lernziele, Lehraktivitäten und Assessments aufeinander abstimmt. Zu den konkreten Zielen gehören die Weiterentwicklung der Studiengänge (Kompetenzprofile), die Entwicklung motivierender Assessmentformate (Micro Credentials) und die Förderung der Selbstregulation im Lernprozess. FAUstairs wird zunächst exemplarisch in ausgewählten Pilotstudiengängen wie Informatik, Data Science und Pädagogik entwickelt und anschließend FAU-weit ausgeweitet. Eine kontinuierliche datenschutzkonforme formative Evaluation begleitet das Projekt, um die Wirksamkeit anhand der FAU eigenen Studienerfolgsindikatoren zu überprüfen und eine positive Qualitätsentwicklung der Lehre zu sichern. Das Projekt strebt die Schaffung einer lernförderlichen Kultur an, die Absolventen als fachlich kompetente, verantwortungsbewusste und kritische Mitglieder der Gesellschaft hervorbringt.