Model Evaluation umfasst in der Praxis eine Vielzahl von Aufgaben - von der Auswahl geeigneter Metriken bis zur Bewertung qualitativer Aspekte. Für AI Engineer-Rollen bildet sie den Rahmen für tragfähige Releaseentscheidungen. Der Kurs zeigt einen strukturierten Bewertungsprozess.
!Kursinhalt
!1. Metriken je Aufgabentyp
*Klassifikations-, Regressions- und Rangmetriken
*Spezialmetriken für Sprach- und Bildaufgaben
*Begrenzungen einzelner Metriken
!2. Aufbau eines Bewertungssetups
*Repräsentative Testdaten
*Aufteilung nach Kontexten
*Vergleichbare Bedingungen über Modelle
!3. Qualitative Bewertung
*Stichproben durch Fachexpert:innen
*Strukturierte Bewertungsleitfäden
*Bewertung von Fehlerklassen
!4. Verzahnung mit Entwicklung und Betrieb
*Bewertungen als Releasekriterium
*Beobachtung im laufenden Betrieb
*Iterative Verbesserung
!Berufliche Relevanz
*Tragfähige Aussagen über Modellgüte
*Belastbare Grundlage für Releaseentscheidungen
*Schlüsselrolle in skalierenden ML-Initiativen