Pipeline-Orchestrierung beschreibt den Prozess, mit dem einzelne Verarbeitungsschritte zu koordinierten Abläufen zusammengeführt werden. In Azure Data Factory erfolgt diese Steuerung über Pipelines, Aktivitäten und Trigger. Für ETL-Entwickler:innen ist die Orchestrierung das Bindeglied zwischen Einzelbausteinen und einem kontrollierten Gesamtprozess.
!Kursinhalt
!1. Aufbau einer orchestrierten Pipeline
*Aktivitäten und ihre Beziehungen
*Kontrollfluss über Erfolgs- und Fehlerpfade
*Verzweigungen und Bedingungen
!2. Parametrisierung und Wiederverwendung
*Pipeline-Parameter und globale Variablen
*Einsatz von Expressions
*Modularisierung über untergeordnete Pipelines
!3. Auslöser und Zeitsteuerung
*Zeitplan-, Tumbling- und Ereignis-Trigger
*Konfiguration von Wiederholungen
*Abhängigkeiten zwischen Pipeline-Läufen
!4. Beobachtung laufender Pipelines
*Statusübersicht und Laufzeitdaten
*Warnmeldungen bei Fehlern
*Nachverfolgung historischer Läufe
!Berufliche Relevanz
*Verlässliche Gesamtabläufe als Basis geplanter Auswertungen
*Strukturierte Übergabe an den operativen Betrieb
*Reduktion manueller Steuerungsaufwände