Echtzeit-Datenverarbeitung konzentriert sich auf High-Performance-Data Engineering für Szenarien, in denen Streaming Data und sofortige Analyse von entscheidender Bedeutung sind. In diesem Kurs steht die Verarbeitung von Datenströmen (Kafka, Apache Spark Streaming) und die Integration mit modernen Cloud Data Warehouse-Lösungen im Mittelpunkt. Die Teilnehmer lernen, wie komplexe Data Pipelines in Echtzeit modelliert und mit Python, SQL sowie Tools wie Airflow, dbt und Kafka effizient gesteuert werden. Im Vergleich zu klassischen Batch Processing-Prozessen werden spezialisierte Methoden für die Latenzminimierung, Skalierbarkeit und Data Quality behandelt. Die Verbindung von Analytics Engineering mit robusten Data-Infrastruktur-Architekturen ermöglicht es, aktuelle Big Data-Herausforderungen in verteilten Cloud Computing-Umgebungen gezielt zu adressieren.
Grundlagen und Kernkonzepte- Wesentliche Data Engineering-Konzepte, speziell zur Echtzeit-Übertragung, Event-Streaming und Machine Learning im Datenstrom
- Abgrenzung und Zusammenspiel von Data Pipeline, ETL, ELT und Streaming Data
- Typische Engpässe bei Multi-Source-Datenintegration mit Cloud Data und Data Warehouse-Lösungen
- Technische Rahmenbedingungen zur Implementierung und dauerhaften Überwachung von Streaming-Prozessen
- Überblick: Unterschiede und Komplementärfunktionen von Batch Processing und Streaming Data
- Kontext: Bedeutung von Data Engineer- und Datenengineering-Kompetenzen für Echtzeit-Anforderungen
Technische Implementierung und Praxis
- Schrittweise Entwicklung performanter Streaming Data-Pipelines mit Python, Apache Spark und Kafka
- Aufbau, Konfiguration und Orchestrierung von Airflow für Data Pipeline-Automatisierung und Scheduling
- Anwendungsbeispiele mit dbt, Data Warehouse-Anbindung an Cloud Data-Plattformen
- Debugging- und Monitoring-Strategien für Data Quality und Latenzüberwachung
- Skalierungsoptionen für Big Data-Ströme in Cloud-Infrastrukturen, Nutzung von Cloud Computing
- Strategien zur Optimierung von Data Modeling, Testing und Integration heterogener Datenstrukturen
Analyse, Interpretation und Validierung
- Bewertung von Streaming Data-Analytics-Ergebnissen unter Performanz- und Data Quality-Gesichtspunkten
- Techniken zur Echtzeit-Visualisierung und Kommunikation von Analyseergebnissen aus Data Pipelines
- Automatisierte Validierung und Plausibilitätskontrolle von Echtzeitdaten
- Umgang mit Bias und Unsicherheiten in komplexen Echtzeit-Datenströmen
- Dokumentationsstandards für Datenpipelines, Compliance-Richtlinien bei Cloud Data-Workflows
- Empfehlungen für fortlaufende Optimierung, Monitoring und Weiterentwicklung
Praxisprojekte, Fallstudien und Vertiefung
- Realitätsnahe Projekte zur Integration und Automatisierung von Echtzeit-Datenpipelines mit Data Engineering-Tools
- Komplexe Fallstudien zu Big Data-Streaming im Cloud Computing-Umfeld
- Entwicklung skalierbarer Data Engineer-Lösungen für aufkommende Analytics Engineering-Trends und Cloud Data Warehouse
- Spezielle Herausforderungen bei der Datenintegration aus IoT- und anderen Hochfrequenz-Quellen
- Vertiefte Auseinandersetzung mit Data-Infrastruktur-Architekturen für Echtzeitanwendungen