Wer kontinuierlich Daten aus sich verändernden Quellen verarbeitet, steht häufig vor der Frage, wie flexibel auf Strukturänderungen reagiert werden kann. Schema-on-Read beschreibt einen Ansatz, bei dem Interpretation und Validierung erst beim Lesen stattfinden. Delta Lake bietet hierfür Mittel, um solche Muster strukturiert einzusetzen.

!Kursinhalt

!1. Grundidee von Schema-on-Read
*Abgrenzung zu Schema-on-Write
*Typische Szenarien
*Rolle in Streaming-Landschaften

!2. Umsetzung mit Delta Lake
*Nutzung flexibler Datentypen
*Einsatz von Schema-Evolution
*Kombination mit Spark SQL

!3. Muster in der Verarbeitung
*Einlesen variabler Ereignisformate
*Zwischenspeicherung von Rohinhalten
*Lese-seitige Validierung

!4. Balance zwischen Flexibilität und Qualität
*Grenzen rein flexibler Ansätze
*Kombinationen mit definierten Schichten
*Umgang mit Schemaänderungen

!Berufliche Relevanz

*Tragfähiger Umgang mit variablen Datenquellen
*Ergänzung klassischer Modellierungsansätze
*Grundlage robuster Streaming-Strecken