Big Data wird als skalierbarer, prüfbarer Datenrahmen eingeführt: von Speicherformaten über Datenflüsse bis zu belastbaren Auswertungen. Im Fokus stehen Datenqualität, klare Verträge und reproduzierbare Artefakte. Big Data verbindet spaltenorientierte Formate mit effizienten Abfragepfaden und dokumentierten Schemata. Begriffe werden präzise erklärt: Columnar Storage (spaltenorientierte Ablage), Partitionierung (Aufteilung großer Datenmengen), Window Function (Analyse über Zeit/Gruppen) und Feature Store (verwaltete Merkmalsablage). Big Data priorisiert konsistente IDs und Zeitachsen, damit Analysen über Segmente und Zeiträume vergleichbar bleiben. Big Data wird dabei mit Versionen, Seeds und standardisierten Kennzahlen abgesichert.
Inhaltsübersicht1. Plattform - Speicher, Formate, Zugriffe2. Big Data - Datenflüsse und Verträge3. Betrieb - Qualität, Kosten, Monitoring1. Infrastruktur und Formate
- Parquet/CSV wählen, Kompression und Encoding prüfen
- Partitionen/Dateigrößen für Scan-Effizienz planen
- Metadatenkataloge und Schemata versionieren
- Zugriffsrechte und Datenherkunft (Lineage) festhalten
2. Big Data - Datenflüsse
- ETL/ELT-Pfade, Orchestrierung und Fehlerpfade definieren
- IDs/Zeitachsen konsistent halten, Joins absichern
- Qualitäts- und Vollständigkeitschecks automatisieren
- Verträge zwischen Quell- und Zielschnittstellen dokumentieren
3. Betrieb und Kontrolle
- Kosten (Compute/Storage/IO) beobachten und steuern
- Drift-Indikatoren, Alarmregeln, Retraining-Trigger
- Seeds/Versionen des Datenstands ausweisen
- Audit-Trails und Änderungsprotokolle führen