Im Arbeitsfeld von ETL-Entwickler:innen kommt einer strukturierten Dateiablage eine tragende Rolle zu, weil dort Rohdaten, Zwischenergebnisse und Übergaben zusammenlaufen. Azure Data Lake Storage stellt hierfür hierarchische Namensräume und Zugriffsmodelle bereit. Die Gestaltung der Ablage prägt Nachvollziehbarkeit und Verarbeitbarkeit der Daten.
!Kursinhalt
!1. Grundprinzipien der Data-Lake-Ablage
*Hierarchische Struktur und Namenskonventionen
*Zonenkonzepte wie Raw, Staged und Curated
*Unterscheidung verschiedener Dateiformate
!2. Pfadgestaltung für ETL-Prozesse
*Zeitliche Partitionierung
*Trennung nach Quellsystem und Verarbeitungsstand
*Umgang mit Historisierung
!3. Zugriff aus ETL-Werkzeugen
*Einbindung in Azure Data Factory
*Lese- und Schreibmuster
*Automatisierung über Skripte
!4. Ordnung und Lebenszyklus
*Regelmäßige Aufräumvorgänge
*Aufbewahrungsfristen
*Dokumentation von Ablagekonventionen
!Berufliche Relevanz
*Stabile Arbeitsgrundlage für wiederkehrende Datenladungen
*Voraussetzung für Nachvollziehbarkeit gegenüber Fachbereichen
*Einordnung in übergreifende Architekturrichtlinien