ETL beschreibt den Prozess, mit dem Daten aus Quellsystemen extrahiert, in eine einheitliche Form überführt und in Zielsysteme geladen werden. Mit Databricks und Fivetran stehen Werkzeuge bereit, die jeweils unterschiedliche Teile dieses Prozesses abdecken. Der Inhalt zeigt den Aufbau zuverlässiger Integrationsstrecken.

!Kursinhalt

!1. Einordnung von ETL und ELT
*Architekturmuster im Data Engineering
*Abgrenzung zu klassischen Datenübernahmen
*Rolle von Data Lake und Warehouse

!2. Quellintegration mit Fivetran
*Connectoren und verwaltete Pipelines
*Schema-Drift und Änderungserkennung
*Zeitgesteuerte Replikation

!3. Verarbeitung mit Databricks
*Notebooks und Jobs
*Transformationen in Spark
*Speicher- und Tabellenformate

!4. Betriebssicht auf Pipelines
*Monitoring und Fehlermeldungen
*Wiederanlauf und Idempotenz
*Dokumentation der Datenflüsse

!Berufliche Relevanz

*Verlässliche Datenversorgung analytischer Systeme
*Zusammenarbeit mit Fach- und Plattformteams
*Basis für nachgelagerte Modellierungen und Analysen