Dieser Kurs vermittelt spezialisiertes Wissen über Extract, Transform, Load (ETL)-Prozesse, die ein zentrales Element in der Rolle des Data Platform Engineers darstellen. Teilnehmende lernen, robuste und skalierbare Datenpipelines für moderne Datenplattformen zu entwerfen und zu implementieren. Der Fokus liegt auf den technischen Aspekten der Datenintegration, -bereinigung und -transformation, die für eine effiziente Datenverarbeitung in großem Maßstab unerlässlich sind. Die erworbenen Kompetenzen sind grundlegend für jeden Data Platform Engineer.
Inhaltsübersicht:
1. Grundlagen der Datenpipeline-Architektur
- Überblick über die Aufgaben des Data Platform Engineer und die Notwendigkeit robuster Dateninfrastrukturen.
- Architekturmuster für moderne Datenplattformen (Data Lakes, Data Warehouses).
- Einführung in die Phasen des ETL-Zyklus: Extraktion, Transformation und Laden von Daten.
2. Implementierung von ETL-Prozessen
- Praktische Anwendung gängiger ETL-Tools und Frameworks.
- Entwicklung von Skripten zur Datenextraktion und -transformation.
- Fokus auf die Optimierung von ETL-Leistung und -Zuverlässigkeit.
- Umgang mit komplexen Datentypen und Schema-Änderungen während des ETL.
3. Monitoring und Wartung von Datenflüssen
- Strategien zur Fehlerbehandlung und Protokollierung in ETL-Pipelines.
- Überwachung der Datenqualität und des Durchsatzes von ETL-Jobs.
- Automatisierung und Orchestrierung von ETL-Workflows.
- Best Practices für die Wartung und den Betrieb von ETL-Systemen.