Data Storage Architectures bietet eine spezialisierte Auseinandersetzung mit der architektonischen Planung, Optimierung und Verwaltung moderner Dateninfrastrukturen, wie sie bei Data Engineering-Projekten im industriellen Maßstab benötigt werden. Im Unterschied zu allgemeinen Data Engineering-Kursen konzentriert sich dieses Angebot explizit auf Speicherlösungen, Architekturmodelle und technische Integrationen wie Data Warehouse, Cloud Data Warehouse und hochperformantes Big Data-Management. Im Mittelpunkt stehen Technologien wie SQL, Python, Apache Spark, Airflow, dbt sowie Kafka, mit spezifischem Fokus auf die Entwicklung, Wartung und Skalierung effizienter Datenpipelines - sowohl im Batch Processing als auch im Streaming Data-Umfeld. Teilnehmer erwerben fundierte Kenntnisse, um robuste Data Pipeline-Strategien zu entwickeln, ETL- und ELT-Prozesse zu gestalten sowie Analytics Engineering-Anforderungen in realen Cloud Computing-Umgebungen zu erfüllen.
Grundlagen und Kernkonzepte- Zielgerichtete Einführung in Datenarchitekturen für Data Engineering, Data Warehouse und Cloud Data Warehouse
- Systematische Untersuchung von Data Engineering-Architekturen, Datenmodellierung, ETL/ELT und Data Pipeline-Designs
- Kritische Identifikation von Herausforderungen bei Big Data, Data Quality und Cloud Data-Sicherheit
- Voraussetzungen für Data-Infrastruktur, Skalierbarkeit und Compliance in datengetriebenen Systemen
- Zusammenhang zwischen Datenpipelines, Datenmodellierung und Analytics Engineering
- Industrienahe Betrachtungen von Datenarchitekturen in branchenspezifischen Geschäftsszenarien
- Strategische Auswahl von Cloud Computing-Plattformen, Kostenmanagement bei Cloud Data Warehouse-Lösungen
Technische Implementierung und Praxis
- Schrittweise Umsetzung von datengetriebenen Architekturen mit Data Pipeline-Tools wie Apache Spark, Airflow, dbt und Kafka
- Erstellung und Automatisierung komplexer ETL/ELT-Workflows in Python und SQL
- Umsetzung von Streaming Data- und Batch Processing-Szenarien für verschiedene Datenquellen
- Identifikation von Fehlerquellen, Monitoring-Lösungen und Data Quality-Management für stabile Datenpipelines
- Integration in existierende Data-Infrastruktur und Skalierung für produktive Nutzung im Cloud Computing
- Best Practices für Data Engineering-Code, Wartung, Testing und Governance
- Automatisierung von Deployment-Prozessen und rollenbasierte Zugriffskontrolle in Cloud Data Warehouse-Architekturen
Analyse, Interpretation und Validierung
- Data Engineering-Ergebnisse kompetent analysieren: Validierungsstrategien für Datenmodelle, Qualitätssicherung und Reporting
- Visualisierungstechniken für komplexe Data Pipeline- und Data Warehouse-Strukturen
- Statistische Testverfahren und Absicherung von Analytics Engineering-Resultaten
- Identifikation von Limitationen und Risiken in Data-Infrastruktur sowie Compliance-Anforderungen
- Dokumentation, Reporting und API-Schnittstellen management
- Use Cases für regulatorische und sicherheitsbezogene Aspekte im Data Engineering
Praxisprojekte, Fallstudien und Vertiefung
- Realistische Hands-on-Projekte: Aufbau skalierbarer Datenpipelines mit modernen Data Engineering-Tools
- Integration heterogener Daten aus verteilten Quellen (z. B.