Integration heterogener Datenquellen ist ein hoch spezialisierter Data Engineering-Kurs, der systematisch zeigt, wie Daten aus unterschiedlichen Systemen - von relationalen SQL-Datenbanken über Cloud Data Warehouse-Lösungen bis hin zu Streaming Data-Plattformen wie Kafka oder Apache Spark - zusammengeführt und verarbeitet werden. Anders als allgemeine Data Engineering-Schulungen konzentriert sich dieser Kurs auf die anspruchsvollen technischen und konzeptionellen Herausforderungen, die bei der Vereinheitlichung und Transformation inkompatibler Datenformate und -strukturen auftreten. Im Zentrum stehen Data Pipeline-Design und die Auswahl passender ETL/ELT-Methoden, Datenqualitätsstrategien sowie Best Practices für Analytics Engineering und Big Data-Integration. Besonders praxisrelevant sind Umsetzungen in Python, die Arbeit mit dbt, Airflow sowie der gezielte Einsatz von Cloud Data Warehouse-Architekturen zur Steuerung komplexer Dateninfrastrukturen.
Grundlagen und Kernkonzepte- Aufbau und Bedeutung moderner Dateninfrastruktur für heterogene Systeme im Data Engineering-Kontext
- Typologien heterogener Datenquellen: strukturierte, semi-strukturierte, unstrukturierte Daten
- Überblick Data Modeling: Abbildung komplexer Datenmodelle über verschiedene Plattformen hinweg
- Charakteristika und Anforderungen von Datenpipelines zur Integration verschiedener Quellen
- Besonderheiten beim Wechsel zwischen Batch Processing und Streaming Data-Strömen
- Abgrenzung zwischen klassischen ETL/ELT-Prozessen und Cloud Computing-geprägter Integration
Technische Implementierung und Praxis
- Anwendung von Python für die Verbindung vielfältiger Datenquellen sowie Transformation und Daten-Quality-Prüfung
- Einsatz von Apache Spark, Kafka und Airflow bei der Orchestrierung leistungsfähiger Data Pipelines
- Nutzung von dbt zur Modularisierung, Testbarkeit und Wiederverwendung in Analytics Engineering-Prozessen
- Authentifizierung, Zugriffskontrolle und Datenschutz in verteilten Cloud Data Warehouse-Umgebungen
- Fehlerhandling und Monitoring von Streaming Data und Batch Pipelines in Echtzeit- und Near-Real-Time-Setups
- Skalierbarkeit und Lastverteilung mit Cloud Computing-Services für Big Data-Workloads
Analyse, Interpretation und Validierung
- Überprüfung von Data Quality, Konsistenzchecks bei der Integration multipler Datenquellen
- Vergleich verschiedener Analytics Engineering-Strategien zur Auswertung aus heterogenen Quellen
Praxisprojekte, Fallstudien und Vertiefung
- Investition in komplexe Data Engineering-Projekte mit verschiedenen Dateninfrastrukturen
- Entwicklung robuster, produktionsreifer Datenpipelines für reale Integration-Szenarien