Evaluation von LLM Antworten umfasst eine Reihe von Aufgaben - von einfachen Stichproben bis hin zu strukturierten Bewertungssystemen. In produktiven Anwendungen entscheidet sie über Vertrauen und Weiterentwicklung. Der Kurs zeigt, wie Antworten methodisch bewertet werden können.

!Kursinhalt

!1. Bewertungsdimensionen für Antworten
*Korrektheit und Vollständigkeit
*Relevanz und Verständlichkeit
*Sicherheit und Compliance

!2. Methodische Vorgehensweisen
*Manuelle Bewertungen durch Fachexpert:innen
*Strukturierte Bewertungsleitfäden
*Automatisierte Bewertungen mit Hilfsmodellen

!3. Aufbau eines Evaluationssets
*Repräsentative Eingaben
*Edge Cases und kritische Themen
*Versionierung der Bewertungsergebnisse

!4. Verzahnung mit Entwicklung und Betrieb
*Bewertungen als Teil des Releaseprozesses
*Fortlaufende Beobachtung im Betrieb
*Feedbackschleifen in Promptentwicklung

!Berufliche Relevanz

*Belastbare Aussagen zur Qualität von KI-Lösungen
*Klare Grundlage für Releaseentscheidungen
*Vertrauensaufbau bei Stakeholdern und Nutzer:innen