Databricks ist in der Datenbranche zu einer zentralen Plattform für die einheitliche Verarbeitung von Batch- und Streaming-Daten, maschinelles Lernen und explorative Datenanalyse geworden. Das Lakehouse-Konzept vereint die Flexibilität von Data Lakes mit der Strukturiertheit und Performance von Data Warehouses. Für Data Engineers, Data Scientists und ML Engineers ist die Beherrschung von Databricks-Notebooks, Delta Lake und MLflow eine zunehmend gefragte Kompetenz.
Kursinhalt1. Databricks-Plattform und Lakehouse-Architektur
- Workspace, Cluster und Jobs in Databricks
- Lakehouse-Konzept: Data Lake plus Data Warehouse
- Delta Lake: ACID-Transaktionen auf Datei-Ebene
2. Datenverarbeitung mit Apache Spark auf Databricks
- Spark DataFrames und Spark SQL
- Daten einlesen, transformieren und schreiben
- Structured Streaming für Echtzeit-Datenverarbeitung
3. Delta Lake: Funktionen und Performance
- Schema Enforcement und Schema Evolution
- Time Travel und Versionierung mit Delta Lake
- Optimize, Z-Ordering und Vacuum
4. Maschinelles Lernen und MLflow auf Databricks
- MLflow Tracking: Experimente und Metriken
- MLflow Models: Registrierung und Deployment
- AutoML und Feature Store in Databricks
Berufliche Relevanz
- Databricks-Kenntnisse werden in Data-Engineering-, Data-Science- und ML-Engineering-Positionen eingesetzt
- Ermöglicht skalierbares und kollaboratives Arbeiten mit großen Datenmengen
- Grundlage für Unity-Catalog-basierte Data-Governance-Initiativen