- Überblick über Data Engineering Konzepte und den Stellenwert in der Data Science, KI und AI Welt
- Einführung in das Cloud-Computing und Aufbau einer Entwicklungsumgebung
- Verständnis der 4 V’s von Big Data und Virtualisierungstechnologien wie VirtualBox und Vagrant
- Erste Schritte mit Linux, macOS, Kommandozeile und grundlegender Internet-Architektur
Cloud Infrastruktur und Big Data Architekturen
- Einführung in AWS EC2, EBS und S3 zur Cloud-Speicherung und -Verarbeitung
- Praktische Umsetzung von Cloud Deployment und Cron Jobs
- Nutzung von Apache Kafka und Amazon Kinesis für Echtzeit-Datenintegration
- Vorbereitung auf das Portfolio-Projekt mit Projektressourcen und Rubriken
Parallelverarbeitung und funktionale Programmierung
- Grundlagen der funktionalen Programmierung mit Python und Scala
- Webscraping, Threading und Multiprocessing für Datenverarbeitung
- Einführung in massiv-parallele Datenverarbeitung und MapReduce-Konzepte
- Verteilung von Rechenlast in Data Engineering durch verteiltes Computing
Machine Learning und Spark Framework
- Einstieg in Spark DataFrames, Spark SQL und Spark ML für AI und KI Modelle
- Praktische Umsetzung von Spark Streaming und probabilistischen Datenstrukturen
- Einführung in MapReduce Design Patterns, Hadoop und skalierbare Datenarchitekturen
- Wiederholung zentraler Data Analytics Konzepte und Anwendung auf realen Projekten
SQL, ETL und relationale Datenmodellierung
- Erstellung von SQL-Abfragen: Filter, Joins, Aggregationen und Subqueries
- Modellierung relationaler Datenbanken für effiziente Datenverarbeitung
- Umsetzung klassischer ETL-Prozesse (Extract, Transform, Load)
- Anwendung von SQL in Data Science, Data Engineering und Machine Learning Projekten
Karrierevorbereitung und Abschlussprojekte
- Durchführung eines eigenen Data Engineering Projekts mit Präsentation
- Agile Projektmethodik: Sprintplanung, Reviews, Retrospektiven
- Karriere-Coaching, Bewerbungstraining und 1:1 Mentoring
- Umsetzung von Data Analytics und KI-Lösungen in realen Anwendungsfällen
Der Kurs behandelt Data Engineering Konzepte und bietet praktische Erfahrung mit Cloud-Diensten, funktionaler Programmierung und Tools wie Apache Kafka, Spark und VirtualBox.