Streaming Data Processing vermittelt spezialisiertes Wissen zur Verarbeitung kontinuierlicher, hochfrequenter Datenströme in modernen Data Engineering-Umgebungen. Im Unterschied zu klassischen Batch Processing-Methoden liegt der besondere Fokus auf dem Aufbau und Betrieb leistungsfähiger Echtzeit-Data Pipelines mit Technologien wie Apache Spark, Kafka und modernen Cloud Data Warehouse-Systemen. Sie erlernen, wie Sie Streaming Data im Vergleich zu statischen Daten effizient integrieren, hochskalierbare ETL- und ELT-Prozesse umsetzen und die speziellen Herausforderungen der Latenz, Fehlerbehandlung sowie Data Quality im laufenden Datenfluss meistern. Besonderes Augenmerk gilt der Verbindung aus Big Data-Architekturen, Data-Infrastruktur und Analytics Engineering für adäquate Entscheidungsfindung in Szenarien mit hohen Anforderungen an Geschwindigkeit und Datenkonsistenz.
Grundlagen und Kernkonzepte- Grundlegende Prinzipien der Streaming Data-Verarbeitung und deren Stellenwert innerhalb von Data Engineering
- Unterschiedliche Streaming Data versus Batch Processing: Vor- und Nachteile im Data Engineer-Alltag
- Typische Herausforderungen und spezielle Anforderungen für Datenpipelines im Streaming-Kontext
- Architekturen für Data Pipeline-Design: Rolle von ETL, ELT, Cloud Data und Big Data in modernen Unternehmen
- Zusammenhang mit Data Quality, Datenmodellierung, Cloud Computing und Analytics Engineering
- Bedeutung von Streaming Data für Branchen wie IoT, E-Commerce, Finance und Telekommunikation
- Datenformate, Event-Strukturen und Synchronisation in Streaming-Systemen
Technische Implementierung und Praxis
- Aufbau robuster Streaming Data-Pipelines mit Python, SQL, Apache Spark, Kafka, Airflow und dbt
- Implementierung und Monitoring von Cloud Data Warehouse-Lösungen für kontinuierlichen Dateninput und Output
- Latenzmanagement, Fehlererkennung, Recovery-Strategien im Live-Datenumfeld
- Integration und Automatisierung über Data-Infrastruktur und Workflow-Management-Systeme
- Ansätze zur Performance-Optimierung und Skalierbarkeit von Streaming Data-Prozessen
- Umgang mit hohen Datenraten, Edge Cases und dynamischer Skalierung im Cloud Computing
- Automatisiertes Testing und Wartung der Streaming Data-Implementierungen
Analyse, Interpretation und Validierung
- Analyse- und Reporting-Techniken speziell für Streaming Data
- Visualisierung und Monitoring von Echtzeitdaten für Data Engineer-Teams
- Statistische Validierung kontinuierlich einlaufender Datenströme
- Dokumentation und Compliance für Streaming Data in produktiven Umgebungen
- Ableitung geschäftlicher Maßnahmen aus aktuellen Streaming Data-Analysen
Praxisprojekte, Fallstudien und Vertiefung
- Umsetzung realer Use Cases mit komplexen, heterogenen Datenströmen
- Kombination von Batch Processing und Streaming Data im hybriden Datenumfeld
- Erprobung von Performance-Tuning und Data Quality-Analysen in Data Pipelines
- Vertiefung zu aktuellen Trends im Data Engineering rund um Streaming Data-Architekturen