Transformers und Datasets sind zentrale Bibliotheken im Umfeld großer Sprachmodelle. Data Scientists nutzen sie, um Modelle zu laden, Daten zu verarbeiten und eigene Anwendungen umzusetzen.

!Kursinhalt

!1. Rolle der Bibliotheken
*Transformers für Modelle und Tokenizer
*Datasets für Datenzugriff und -verarbeitung
*Zusammenspiel beider Bibliotheken

!2. Arbeit mit vortrainierten Modellen
*Laden und Anwenden
*typische Aufgabenstellungen
*Parameter und Pipelines

!3. Datenverarbeitung
*Laden öffentlicher und interner Datensätze
*Vorverarbeitung mit Datasets
*Kombination mit Tokenizern

!4. Experimente und Evaluation
*Aufbau reproduzierbarer Abläufe
*Vergleich von Modellen
*Dokumentation der Ergebnisse

!Berufliche Relevanz

*Transformers und Datasets verkürzen den Weg zu NLP-Anwendungen
*strukturierte Vorverarbeitung sichert die Datenqualität
*reproduzierbare Abläufe erleichtern spätere Weiterentwicklung