Konzeptkarte

Sampling-Strategien

Stand 2026-07-24T14:00:00Z

Redaktion: Cédric-Olivier Mâry, alleiniger Redakteur und verantwortlich für die Veröffentlichung — 27 Jahre im SAP-Ökosystem. Wie diese Seiten entstehen und wo Automatisierung eingesetzt wird.

Was ist Sampling-Strategien?

Ein falsch konfigurierter Sampler ist die häufigste Ursache für unerklärte Ausgabevarianz in produktiven LLM-Systemen — und für auditkritische SAP- oder Joule-Workflows ist T=0 mit fixem Seed und protokollierter Modellversion das, was Artikel 9 der EU-KI-Verordnung zur Reproduzierbarkeit tatsächlich erfüllt.

Sampling-Strategien sind die Algorithmen, die entscheiden, wie ein Sprachmodell das nächste Token aus der Wahrscheinlichkeitsverteilung wählt, die seine letzte Schicht erzeugt. Sie stehen ganz am Ende der Kette zwischen einem trainierten Modell und dem, was tatsächlich auf dem Bildschirm erscheint — was einen falsch konfigurierten Sampler zu einer der häufigsten und am meisten übersehenen Ursachen für inkonsistentes Verhalten in einem produktiven LLM-Deployment macht.

Das Problem, das sie lösen

Immer das einzelne wahrscheinlichste Token zu wählen — bekannt als Greedy Decoding — erzeugt Text, der in Schleifen entartet: Da jede Wahl die Wahrscheinlichkeit erhöht, als Nächstes etwas Ähnliches zu wählen, bleibt das Modell hängen und wiederholt eine Phrase oder eine Satzstruktur. Reines Zufalls-Sampling aus der Rohverteilung geht in die entgegengesetzte Richtung und erzeugt Text, der Wort für Wort flüssig, aber insgesamt inkohärent ist. Jedes praktische Deployment liegt irgendwo zwischen diesen beiden Extremen, und wo genau, hängt vollständig von der Aufgabe ab.

Die wichtigsten Parameter

Temperature skaliert die Ausgabeverteilung des Modells vor dem finalen Normalisierungsschritt neu: Eine Temperature von eins belässt die trainierte Verteilung unverändert, eine Temperature unter eins schärft sie in Richtung der wahrscheinlichsten Token und drängt die Ausgabe in Richtung Determinismus, und eine gegen null gehende Temperature lässt sie zu Greedy Decoding kollabieren.

Warum es zählt

Temperature und Top-p sind weitgehend redundant — die meisten Praktiker fixieren eines und variieren das andere, was eine scheinbar große Tuning-Fläche vereinfacht.
Ein Repetition Penalty über 1,15 kann strukturierte Ausgaben (JSON-Arrays, SQL-Klauseln) aktiv beschädigen, indem er legitime Wiederholung unterdrückt — ein konkreter Fehlermodus, den man testen sollte.
Min-p gewinnt an Verbreitung, weil es bei hoher Temperature stabiler ist als Top-p — wissenswert, bevor man überall standardmäßig auf Nucleus Sampling setzt.

Kernpunkte

Temperature T=0 liefert deterministische Greedy-Ausgabe (argmax); T=1,0 entspricht unverändert der trainierten Verteilung; T>1 flacht sie in Richtung Gleichverteilung ab.
Top-p und Temperature sind weitgehend redundant — wählen Sie eine Achse zum Justieren. Top-p=0,9 mit T=1,0 ist die robusteste kreative Baseline.
Top-k=40 ist ein üblicher kreativer Standardwert; Top-k=1 entspricht Greedy und ist vollständig deterministisch.
Ein Repetition Penalty über 1,15 unterdrückt legitime Wiederholung in strukturierten Ausgaben (JSON, SQL, XML) — bei Code- und Extraktionsaufgaben bei 1,0–1,1 belassen.
Min-p (2023): setzt eine Wahrscheinlichkeitsuntergrenze als Bruchteil der Masse des Top-Tokens; min_p=0,05 ist temperature-stabiler als Top-p und gewinnt in Open-Weight-Runtimes (llama.cpp, vLLM) an Verbreitung.
Beam Search (k=4–8 Beams) verbessert die Qualität bei eingeschränkten strukturierten Ausgaben, vervielfacht aber den Inferenz-Rechenaufwand um den Faktor k — bei Hochdurchsatz- oder agentenbasierten Pipelines kostenmäßig kaum tragbar.
Reproduzierbarkeit nach Art. 9 EU-KI-Verordnung: T=0, fixer Seed, protokollierte Modellversion + Sampling-Konfiguration sind für auditkritische SAP-Integrationen, die als Hochrisikosysteme eingestuft sind, verpflichtend.
SAP Joule verwendet intern verwaltete Sampling-Konfigurationen; das Verständnis dieser Parameter ist relevant, wenn benutzerdefinierte LLM-Agenten über BTP AI Core oder Open-Weight-Modelle neben Joule gebaut werden.
Für Extraktion, Klassifikation und SQL-Generierung: immer T=0. Für Erklärung, Zusammenfassung, Brainstorming: T=0,7–1,0 mit Top-p=0,9–0,95.
Protokollieren Sie die vollständige Sampling-Konfiguration (T, Top-p, Top-k, Seed, Modellversion) zu jeder LLM-Ausgabe in der Produktion — ohne das ist das Debugging nicht-deterministischer Fehler strukturell unmöglich.

Begriffe auf dieser Seite

Temperature (T): Skalierungsfaktor, der vor dem Softmax auf die Logits angewendet wird: z/T. T<1 schärft die Verteilung in Richtung argmax; T>1 flacht sie in Richtung Gleichverteilung ab; T=0 ist deterministisches Greedy (argmax).
Nucleus sampling (top-p): Beschränkt die Token-Auswahl auf die kleinste Menge an Kandidaten, deren kumulierte Wahrscheinlichkeit ≥ p ist, und passt die Größe des Kandidatenpools dynamisch an die Entropie der Verteilung an (Holtzman et al. 2019).
Top-k sampling: Beschränkt die Token-Auswahl auf genau die k wahrscheinlichsten Token, unabhängig von ihrer kumulierten Wahrscheinlichkeitsmasse.
Min-p sampling: Setzt eine Wahrscheinlichkeitsuntergrenze als Bruchteil der Wahrscheinlichkeit des Top-Tokens: Token mit p < min_p × p_top werden ausgeschlossen. Stabiler als Top-p bei hoher Temperature; gewinnt in Open-Weight-Runtimes an Verbreitung (2023).
Repetition penalty: Multiplikator >1, der auf die Logits bereits generierter Token angewendet wird, um Schleifenbildung zu reduzieren; Werte über 1,15 können legitime Wiederholung in strukturierten Ausgaben wie JSON-Arrays oder SQL-Klauseln unterdrücken.
Greedy decoding: Deterministisches Sampling, das immer das nächste Token mit der höchsten Wahrscheinlichkeit wählt; entspricht T→0 oder Top-k=1. Der erforderliche Modus für auditkritische Aufgaben und strukturierte Ausgaben.
Beam search: Hält bei jedem Decoding-Schritt k Kandidatensequenzen (Beams) parallel und wählt bei Abschluss die insgesamt wahrscheinlichste Sequenz; verbessert die Qualität bei eingeschränkten Ausgaben bei k-fachem Rechenaufwand.
KV cache: Die zwischengespeicherten Key-Value-Projektionen aus vorherigen Attention-Schritten, die effizientes autoregressives Decoding ermöglichen, ohne die Attention über den gesamten Kontext bei jedem Schritt neu zu berechnen.

Quellen

Vollständige Karte für Mitglieder. Was die vollständige Karte ergänzt: den vollständigen Entscheidungsrahmen · den Vergleich SAP · Snowflake · Databricks · Fabric · die häufigen Fallstricke und ihre Behebung · die Kurzreferenz · die Architekturschemata · die Codeblöcke · die zitierfähigen Kennzahlen.

In der App öffnen →