Kontextfenster und Tokenlimits prägen, wie viel Information ein Sprachmodell in einer Anfrage verarbeiten kann. KI-Beraterinnen und -Berater müssen diese Grenzen bei Architektur und Einsatz berücksichtigen.
!Kursinhalt
!1. Funktionsweise von Kontextfenstern
*Token als Einheit
*Grenzen aktueller Modelle
*Auswirkungen auf Anwendungsfälle
!2. Strategien zum Umgang mit Limits
*Zerlegung langer Eingaben
*Zusammenfassungen als Zwischenebenen
*Auswahl relevanter Inhalte
!3. Architekturbausteine
*Retrieval-Augmented-Generation-Ansätze
*Indizes und Suchen
*Caching und Wiederverwendung
!4. Beratung im Unternehmen
*Aufklärung über realistische Möglichkeiten
*Auswahl geeigneter Modelle
*Hinweise auf Kosten und Latenz
!Berufliche Relevanz
*Kontextfenster bestimmen, was mit einem Modell möglich ist
*Architekturentscheidungen orientieren sich an diesen Grenzen
*informierte Beratung verhindert überhöhte Erwartungen