Modellbewertung und Validierung beurteilen, ob ein Modell zuverlässig generalisiert und für neue Daten geeignet ist. SQL, Power Query und Python liefern saubere Datensplits für Training, Validierung und Test. Metriken wie MSE, R2, Accuracy, F1 und ROC-AUC unterstützen die objektive Bewertung. Ergänzend helfen Kreuzvalidierung, Sampling-Strategien und Hyperparameteroptimierung, die Modellgüte stabil einzuschätzen. Ziel ist eine nachvollziehbare Bewertungslogik, die zuverlässige Vergleiche zwischen Modellen ermöglicht.
Datenaufbereitung und Split- SQL-Abfragen für konsistente Datenstrukturen
- Bereinigung und Prüfung der Datenqualität in Python
- Aufteilung in Train/Validation/Test
- Korrelationen, Verteilungen und Ausreißer als Vorbereitungsschritte
Bewertungskriterien
- MSE und R2 für Regressionsmodelle
- Accuracy und F1-Score für Klassifikation
- ROC-AUC zur schwellenunabhängigen Einordnung
- Vergleich mehrere Modelle anhand konsistenter Metriken
Validierungsmechanismen
- Kreuzvalidierung für robuste Ergebnisabschätzungen
- Over- und Undersampling bei unausgeglichenen Klassen
- Grid Search zur Hyperparameteroptimierung
- Clusteranalysen als ergänzende Strukturprüfung
Dokumentation und Transparenz
- Visualisierung der Modellleistung in Power BI
- DAX-Measures zur Darstellung der Ergebnisse
- Dokumentation aller Bewertungsregeln und Datenschnitte
- Quality-Gates zur Sicherstellung reproduzierbarer Prozesse