Upserts ist ein zentraler Bestandteil moderner Streaming-Architekturen, weil kontinuierliche Datenflüsse in der Regel sowohl neue als auch aktualisierte Datensätze liefern. Delta Lake bietet dafür eine passende Grundlage mit transaktionalen Tabellen und Merge-Unterstützung. Streaming Engineer gestalten Upserts als Standardmuster im Stream-to-Table-Prozess.
!Kursinhalt
!1. Grundidee von Upserts
*Abgrenzung zu reinen Insert-Operationen
*Rolle fachlicher Schlüssel
*Bedeutung in Streaming-Landschaften
!2. Umsetzung mit Delta Lake
*Einsatz von Merge-Anweisungen
*Bedingungen für Updates
*Aktionen für neue Datensätze
!3. Muster und Sonderfälle
*Late-Arriving-Daten
*Umgang mit doppelten Ereignissen
*Handhabung von Löschungen
!4. Stabilität und Betrieb
*Dateistruktur und Kompaktierung
*Umgang mit Zeitreisen
*Überwachung wiederkehrender Upserts
!Berufliche Relevanz
*Zuverlässige Pflege zentraler Zieltabellen
*Grundlage für aktuelle Auswertungen
*Reduktion individueller Behelfslösungen