Das Data-Lakehouse-Konzept vereint die Flexibilität eines Data Lakes mit den Strukturierungs- und Abfragefähigkeiten eines klassischen Data Warehouses in einer gemeinsamen Architektur. Im Arbeitsalltag von Data Engineers und Architekten nimmt dieses Paradigma eine zunehmend wichtige Rolle ein, da es Redundanzen zwischen getrennten Speichersystemen reduziert. Der Kurs behandelt die konzeptionellen Grundlagen sowie die technischen Bausteine moderner Lakehouse-Implementierungen.
Kursinhalt1. Architekturprinzipien des Lakehouse-Ansatzes
- Abgrenzung von Data Lake, Data Warehouse und Data Lakehouse
- Schichtenmodell: Bronze, Silver, Gold Layer
- Vor- und Nachteile gegenüber klassischen Datenarchitekturen
2. Offene Tabellenformate und Storage-Schicht
- Delta Lake, Apache Iceberg und Apache Hudi im Vergleich
- ACID-Transaktionen auf Object Storage
- Schema-Evolution und Time Travel auf Dateiebene
3. Abfrage- und Verarbeitungs-Engines
- Anbindung von Spark, Trino und Presto an Lakehouse-Strukturen
- Optimierung von Lese- und Schreiboperationen
- Metadaten-Management und Kataloganbindung
4. Implementierungsszenarien und Plattformoptionen
- Lakehouse-Lösungen auf Basis von Databricks, Azure Synapse und AWS
- Entscheidungskriterien für die Plattformwahl
- Migrationspfade von bestehenden Data-Lake- oder Warehouse-Architekturen
Berufliche Relevanz
- Relevante Kompetenz für Architektur-Entscheidungen in modernen Datenplattformen
- Grundlage für die Implementierung einheitlicher Analysearchitekturen
- Voraussetzung für den Betrieb von ML- und BI-Workloads auf gemeinsamer Datenbasis