Pipeline Orchestrierung umfasst in der Praxis eine Vielzahl von Aufgaben - von einfacher Zeitsteuerung bis hin zu komplexen Abhängigkeiten zwischen Jobs. Für Data Engineer-Rollen bildet sie eine Kernkompetenz im Aufbau verlässlicher Datenstrecken. Der Kurs vermittelt Konzepte, Werkzeuge und typische Praxismuster.
!Kursinhalt
!1. Grundprinzipien der Orchestrierung
*Tasks, Abhängigkeiten und Trigger
*Idempotenz und Wiederholbarkeit
*Trennung von Steuerung und Ausführung
!2. Werkzeuge der Orchestrierung im Überblick
*Cronbasierte Steuerung
*Workflow-Engines wie Airflow
*Cloud-native Scheduler
!3. Aufbau stabiler Workflows
*Aufteilung in kleine Schritte
*Fehlerbehandlung und Retries
*Beobachtbarkeit über Logs und Metriken
!4. Betrieb in produktiven Umgebungen
*SLAs und Reaktionszeiten
*Skalierung bei wachsendem Datenvolumen
*Pflege und Weiterentwicklung der Workflows
!Berufliche Relevanz
*Stabile Datenversorgung für Analytics und Reporting
*Reduktion ungeplanter Ausfälle in Datenstrecken
*Profilierung als Brücke zwischen Entwicklung und Betrieb