2024-10-29 OktoberTreffen der Curricula-Gruppe

steffen_roertgen · 28. Oktober 2024 um 10:52

Online-Treffen der Curricula-Gruppe, fortlaufendes Protokoll

26.11.2024

steffen_roertgen · 29. Oktober 2024 um 11:24

Boris, Johann, Manuel K, Manuel O, Yan Ping Chen Lin, Markus, Cindy, Serena, Steffen, Jörg

Treffen hat stattgefunden
Ontologie soll bis Ende des Jahres finalisiert werden
Fünf Bundesländer stellen maschinenlesbare Daten bereit (RLP, Berlin, Brandenburg, Sachsen, Bayern, (BaWü perspektivisch)) → Ontologie wird getestet
Ziel: März 25 erster öffentlicher Prototyp (Stichwortrecherche zu Kompetenz- und Inhaltsbereichen)
Transformierbarkeit der anderen Curricula (PDF) noch in Planung
- Langfristiges Ziel: „Curricula Editor“ → mit KMK Fachgruppe abstimmen (verschiedene Exportformate PDF, jedoch auch maschinenlesbar)
Aktueller Stand vorgestellt > AG Lehrplanentwicklung (KMK)
- positives Feedback, da bereits seit langem Bedarf/Wunsch
- Befürchtung der Standardisierung von Lehrplänen durch Produkte / Projekte wie MEM
  - Besonderheiten der Bundesländer werden berücksichtigt
- Governance Konzept (nach Projektende) für Datenmodell und Daten (wird noch entwickelt)
Offen: Abbildung der Progression der Kompetenzen / verwandt: AIS z.B. intelligente Tutoring Modelle

Präsentation von SemaLogic
Vergleich von schulischen Lehrplänen (> 450 in Deutschland)
LLM für NLP erstellt; SemaLogic für Struktur & Wissen
- Input: PDF und TTL (Curriculum)
vollständige Pipeline: PDF → Triples
Test mit Daten aus allen 16 Ländern
currciulum.ttl (Basis-Ontologie) wurde teilweise leicht angepasst
Herausforderungen:
- Klassen werden teilweeise vermischt, LLM trennt nicht klar
- Listen werden teilweise nicht oder unvollständig erkannt
- PDF to Text t.w. nicht brauchbar (Spalten - Zeilen Extraktion, Tabellen, Formatierungen etc.); kein OCR verwendet
  - Bsp: Tabelle, die Klassenstufen zu Inhalten zuordnet
- Hinweis Boris: Lehrpläne könnten vmtl auch als Text geliefert werden → sind u.U. besser auslesbar
Maßnahmen zur Einschränkung der Halluzination
- Fokussierung auf Bereiche (Heatmap)
- Wiederholte Anfragen (5-10x) > Statistische Auswertung der Antworten (Trefferquote)
- Vergleich von Zitaten mit Fundstellen und Zeilenummern (ähnlichkeitsbasierter Textvergleich)
Ergebnis: Triple
Wie kann ein gutes Ergebnis festgestellt werden?
- kann momentan schlecht evaluiert werden
- Jörg arbeitet an einem Tool, um Ähnlichkeit auf semantischer Ebene festzustellen → könnte genutzt werden, um die Ergebnisse zu evaluieren

Aktuell liegen verschiedene Kommunikationskanäle vor: Wiki der DNB, Mailingliste, metadaten.community, Rocket.Chat

Wie und welche Kanäle sind weiterhin sinnvoll zu bespielen?

→ wird beim nächsten Mal besprochen

26.11.2024