Sampling-Strategien

Sampling-Strategien sind die Algorithmen, die entscheiden, wie ein Sprachmodell das nächste Token aus der Wahrscheinlichkeitsverteilung wählt, die seine letzte Schicht erzeugt. Sie stehen ganz am Ende der Kette zwischen einem trainierten Modell und dem, was tatsächlich auf dem Bildschirm erscheint — was einen falsch konfigurierten Sampler zu einer der häufigsten und am meisten übersehenen Ursachen für inkonsistentes Verhalten in einem produktiven LLM-Deployment macht.

Das Problem, das sie lösen

Immer das einzelne wahrscheinlichste Token zu wählen — bekannt als Greedy Decoding — erzeugt Text, der in Schleifen entartet: Da jede Wahl die Wahrscheinlichkeit erhöht, als Nächstes etwas Ähnliches zu wählen, bleibt das Modell hängen und wiederholt eine Phrase oder eine Satzstruktur. Reines Zufalls-Sampling aus der Rohverteilung geht in die entgegengesetzte Richtung und erzeugt Text, der Wort für Wort flüssig, aber insgesamt inkohärent ist. Jedes praktische Deployment liegt irgendwo zwischen diesen beiden Extremen, und wo genau, hängt vollständig von der Aufgabe ab.

Die wichtigsten Parameter

Temperature skaliert die Ausgabeverteilung des Modells vor dem finalen Normalisierungsschritt neu: Eine Temperature von eins belässt die trainierte Verteilung unverändert, eine Temperature unter eins schärft sie in Richtung der wahrscheinlichsten Token und drängt die Ausgabe in Richtung Determinismus, und eine gegen null gehende Temperature lässt sie zu Greedy Decoding kollabieren.

Warum es zählt

• Temperature und Top-p sind weitgehend redundant — die meisten Praktiker fixieren eines und variieren das andere, was eine scheinbar große Tuning-Fläche vereinfacht.
• Ein Repetition Penalty über 1,15 kann strukturierte Ausgaben (JSON-Arrays, SQL-Klauseln) aktiv beschädigen, indem er legitime Wiederholung unterdrückt — ein konkreter Fehlermodus, den man testen sollte.
• Min-p gewinnt an Verbreitung, weil es bei hoher Temperature stabiler ist als Top-p — wissenswert, bevor man überall standardmäßig auf Nucleus Sampling setzt.

Kernpunkte

• Temperature T=0 liefert deterministische Greedy-Ausgabe (argmax); T=1,0 entspricht unverändert der trainierten Verteilung; T>1 flacht sie in Richtung Gleichverteilung ab.
• Top-p und Temperature sind weitgehend redundant — wählen Sie eine Achse zum Justieren. Top-p=0,9 mit T=1,0 ist die robusteste kreative Baseline.
• Top-k=40 ist ein üblicher kreativer Standardwert; Top-k=1 entspricht Greedy und ist vollständig deterministisch.
• Ein Repetition Penalty über 1,15 unterdrückt legitime Wiederholung in strukturierten Ausgaben (JSON, SQL, XML) — bei Code- und Extraktionsaufgaben bei 1,0–1,1 belassen.
• Min-p (2023): setzt eine Wahrscheinlichkeitsuntergrenze als Bruchteil der Masse des Top-Tokens; min_p=0,05 ist temperature-stabiler als Top-p und gewinnt in Open-Weight-Runtimes (llama.cpp, vLLM) an Verbreitung.
• Beam Search (k=4–8 Beams) verbessert die Qualität bei eingeschränkten strukturierten Ausgaben, vervielfacht aber den Inferenz-Rechenaufwand um den Faktor k — bei Hochdurchsatz- oder agentenbasierten Pipelines kostenmäßig kaum tragbar.
• Reproduzierbarkeit nach Art. 9 EU-KI-Verordnung: T=0, fixer Seed, protokollierte Modellversion + Sampling-Konfiguration sind für auditkritische SAP-Integrationen, die als Hochrisikosysteme eingestuft sind, verpflichtend.
• SAP Joule verwendet intern verwaltete Sampling-Konfigurationen; das Verständnis dieser Parameter ist relevant, wenn benutzerdefinierte LLM-Agenten über BTP AI Core oder Open-Weight-Modelle neben Joule gebaut werden.
• Für Extraktion, Klassifikation und SQL-Generierung: immer T=0. Für Erklärung, Zusammenfassung, Brainstorming: T=0,7–1,0 mit Top-p=0,9–0,95.
• Protokollieren Sie die vollständige Sampling-Konfiguration (T, Top-p, Top-k, Seed, Modellversion) zu jeder LLM-Ausgabe in der Produktion — ohne das ist das Debugging nicht-deterministischer Fehler strukturell unmöglich.

Begriffe auf dieser Seite

Temperature (T)

Skalierungsfaktor, der vor dem Softmax auf die Logits angewendet wird: z/T. T<1 schärft die Verteilung in Richtung argmax; T>1 flacht sie in Richtung Gleichverteilung ab; T=0 ist deterministisches Greedy (argmax).

Nucleus sampling (top-p)

Beschränkt die Token-Auswahl auf die kleinste Menge an Kandidaten, deren kumulierte Wahrscheinlichkeit ≥ p ist, und passt die Größe des Kandidatenpools dynamisch an die Entropie der Verteilung an (Holtzman et al. 2019).

Top-k sampling

Beschränkt die Token-Auswahl auf genau die k wahrscheinlichsten Token, unabhängig von ihrer kumulierten Wahrscheinlichkeitsmasse.

Min-p sampling

Setzt eine Wahrscheinlichkeitsuntergrenze als Bruchteil der Wahrscheinlichkeit des Top-Tokens: Token mit p < min_p × p_top werden ausgeschlossen. Stabiler als Top-p bei hoher Temperature; gewinnt in Open-Weight-Runtimes an Verbreitung (2023).

Repetition penalty

Multiplikator >1, der auf die Logits bereits generierter Token angewendet wird, um Schleifenbildung zu reduzieren; Werte über 1,15 können legitime Wiederholung in strukturierten Ausgaben wie JSON-Arrays oder SQL-Klauseln unterdrücken.

Greedy decoding

Deterministisches Sampling, das immer das nächste Token mit der höchsten Wahrscheinlichkeit wählt; entspricht T→0 oder Top-k=1. Der erforderliche Modus für auditkritische Aufgaben und strukturierte Ausgaben.

Beam search

Hält bei jedem Decoding-Schritt k Kandidatensequenzen (Beams) parallel und wählt bei Abschluss die insgesamt wahrscheinlichste Sequenz; verbessert die Qualität bei eingeschränkten Ausgaben bei k-fachem Rechenaufwand.

KV cache

Die zwischengespeicherten Key-Value-Projektionen aus vorherigen Attention-Schritten, die effizientes autoregressives Decoding ermöglichen, ohne die Attention über den gesamten Kontext bei jedem Schritt neu zu berechnen.

Quellen

1. Holtzman et al. 2019 — The Curious Case of Neural Text Degeneration (nucleus sampling)
2. OpenAI API reference — sampling parameters
3. Anthropic API reference — sampling parameters
4. Stahlberg & Byrne 2019 — On NMT Search Errors and Model Errors
5. EU AI Act Article 9 — Risk Management System (reproducibility requirements)
6. Shah et al. 2024 — FlashAttention-3: Fast and Accurate Attention on Hopper GPUs
7. vLLM documentation — sampling parameters
8. SAP BTP AI Core — Generative AI Hub documentation
9. SAP Business AI — official product page
10. SAP Generative AI — official product page
11. SAP News Center — Secure AI agents: how SAP and NVIDIA co-define enterprise-grade agent execution (OpenShell)
12. SAP Help Portal — Orchestration service: templating module and model-parameter configuration
13. SAP Help Portal — Prompt Registry: versioned, Git-synced prompt and orchestration-config templates
14. Anthropic — Claude Platform release notes, 28 and 30 September 2026 (Sonnet 5.5 launch, Sonnet 4.5 deprecation)
15. Anthropic — Claude Sonnet 5.5 migration guide (non-default temperature/top_p/top_k return a 400 error)
16. Anthropic — Claude Opus 5.5 migration guide (sampling parameters removed; temperature 0 never guaranteed identical outputs)
17. Anthropic — Model deprecations (Claude Sonnet 4.5, notified 30 September 2026, retirement 30 November 2026)