Datenmodellierung für Analysen präsentiert einen spezialisierten Ansatz zur Entwicklung und Optimierung von Data Engineering-Lösungen, wobei ein klarer Fokus auf Datenmodellierung und Analytics Engineering in produktiven Umgebungen gelegt wird. Im Mittelpunkt stehen der differenzierte Aufbau von Data Pipelines, der methodische Einsatz von ETL- und ELT-Techniken sowie die Nutzung fortschrittlicher Werkzeuge wie Apache Spark, Airflow, dbt und Kafka für verlässliche Datenintegration. Besonderes Augenmerk liegt auf realitätsnaher Anwendung, z. B. beim Entwurf komplexer Data Warehouse-Architekturen, effizienter Nutzung von Streaming Data und Batch Processing, sowie der Sicherstellung von Data Quality und Compliance-Anforderungen in verschiedenen Cloud Data Warehouse- und Cloud Computing-Umgebungen. Der Kurs hebt sich dadurch ab, dass er datenmodellgetriebene Lösungsansätze mit aktuellen Branchentrends verknüpft und dadurch gezielt auf heterogene Datenquellen, anspruchsvolle Data-Infrastruktur und Big Data-Projekte eingeht.
Grundlagen und Kernkonzepte- Konkrete Definition zentraler Begriffe wie Data Engineering, Datenmodellierung und Analytics Engineering
- Systematischer Vergleich von Data Pipeline-, ETL- und ELT-Architekturen
- Typische Herausforderungen bei Big Data, Cloud Data Warehouse, Streaming Data und Batch Processing-Projekten
- Detaillierte Betrachtung infrastruktureller Aspekte bei Data-Infrastruktur und Cloud Computing
- Integration von Data Modeling-Techniken in existierende Datenpipelines
- Branchenübergreifende Einsatzmöglichkeiten von Data Engineering-Lösungen
Technische Implementierung und Praxis
- Umsetzung von Data Pipelines unter Nutzung von Python, SQL, Apache Spark, Airflow, dbt und Kafka
- Entwicklung von ETL-Jobs, ELT-Prozessen und komplexen Data Warehouse-Strukturen
- Fehlerquellen in Datenpipelines und Strategien zur Sicherung der Data Quality
- Skalierung mit Cloud Services in hybriden oder Public Cloud Data Warehouse-Umgebungen
- Automatisierung von Workflows für Analytics Engineering und Data Modeling
- Optimierung bestehender Data Engineer-Prozesse in produktiven Dateninfrastrukturen
Analyse, Interpretation und Validierung
- Bewertung der resultierenden Data Models hinsichtlich Analytics-Performance und Data Quality
- Visualisierung und Kommunikation von Analyseergebnissen und Data Engineering-Workflows
- Statistische Validierungen direkt auf integrierten Datenmodellen
- Berücksichtigung von Limitierungen spezifischer Data Engineering-Ansätze
- Dokumentation und Nachvollziehbarkeit von Entscheidungen innerhalb der Datenpipelines
- Monitoring und fortlaufende Evaluierung der Data Engineering-Implementierungen
Praxisprojekte, Fallstudien und Vertiefung
- Bearbeitung realer Case Studies mit Fokus auf Data Pipeline-Design und Data Warehouse-Optimierung
- Anwendung von Streaming Data- und Batch Processing-Technologien im industriellen Kontext
- Integration heterogener Daten aus mehreren Quellen mit Data Modeling-Strategien
- Stufenweiser Aufbau von skalierbaren Big Data- und Cloud Data-Lösungen