Wer Datenströme kontinuierlich verarbeitet, steht häufig vor der Frage, wie Rohdaten zuverlässig auf ein verwertbares Niveau gebracht werden können. Apache Spark in Databricks bietet dafür ein verteiltes Verarbeitungsmodell mit konsistenter API. Streaming Engineer gestalten die Vorverarbeitung als strukturierten Zwischenschritt im Datenfluss.
!Kursinhalt
!1. Einordnung der Vorverarbeitung
*Rolle zwischen Quelle und nachgelagerter Verarbeitung
*Abgrenzung zu klassischer Bereinigung
*Einsatz in Streaming-Landschaften
!2. Spark-Grundlagen für Streams
*DataFrames und Datasets
*Transformationen und Aktionen
*Verteilte Ausführung
!3. Konkrete Vorverarbeitungsschritte
*Parsing von Ereignissen
*Normalisierung von Feldern
*Filterung und Anreicherung
!4. Betrieb und Stabilität
*Checkpointing und Offsets
*Umgang mit fehlerhaften Ereignissen
*Überwachung der Verarbeitungsstrecke
!Berufliche Relevanz
*Belastbare Zwischenresultate für nachgelagerte Schritte
*Grundlage für Echtzeitauswertungen
*Unterstützung plattformübergreifender Datenflüsse