Im Arbeitsalltag von Data-Engineering-Rollen nimmt die Orchestrierung unterschiedlicher Datenverarbeitungsschritte eine wichtige Rolle ein. DataOps und Datenqualität ergänzen diese Orchestrierung durch klare Abläufe und Prüfmechanismen. Der Inhalt stellt diese Bausteine in ihren Zusammenhang.
!Kursinhalt
!1. Abläufe in Datenpipelines steuern
*Workflow-Engines und Scheduler
*Abhängigkeiten zwischen Jobs
*Parametrisierung und Wiederholbarkeit
!2. DataOps-Prinzipien
*Versionierung von Code und Daten
*Automatisierte Tests in Pipelines
*Zusammenarbeit in Engineering-Teams
!3. Datenqualität messen und sichern
*Qualitätsdimensionen wie Vollständigkeit und Konsistenz
*Regel- und Testframeworks
*Umgang mit Qualitätsabweichungen
!4. Betrieb und Weiterentwicklung
*Alarmierung und Eskalationswege
*Reviews bestehender Datenflüsse
*Schrittweise Optimierung
!Berufliche Relevanz
*Stabile Datenversorgung in komplexen Umgebungen
*Klarere Rollen im Data-Team
*Sichtbare Qualitätsziele über Projekte hinweg