Konzeptkarte

RAG vs. Fine-Tuning vs. In-Context Learning — Entscheidungsrahmen für SAP-Wissen

Stand 2026-07-24T14:00:00Z

Redaktion: Cédric-Olivier Mâry, alleiniger Redakteur und verantwortlich für die Veröffentlichung — 27 Jahre im SAP-Ökosystem. Wie diese Seiten entstehen und wo Automatisierung eingesetzt wird.

Was ist RAG vs. Fine-Tuning vs. In-Context Learning — Entscheidungsrahmen für SAP-Wissen?

Die richtige Methode zur Wissensbereitstellung entscheidet sich anhand dreier Fragen — passt es ins Kontextfenster, erfordert es ein erneutes Training, wächst der Korpus über 128.000 Tokens hinaus — nicht danach, welche Technik gerade am angesagtesten ist.

Jedes SAP-KI-Projekt, das ein Sprachmodell über Unternehmenswissen legt, stößt innerhalb der ersten zwei Wochen auf dieselbe Weggabelung: Ruft man das Wissen zum Anfragezeitpunkt ab (RAG), backt man es in die Gewichte des Modells ein (Fine-Tuning), oder reicht man es dem Modell einfach im Prompt (In-Context Learning)? Diese Entscheidung falsch zu treffen, ist auf drei verschiedene Arten teuer — verdoppelte Infrastrukturkosten, Monate zusätzlicher Verzögerung bis zum Go-live, oder ein Modell, das vor einem Kunden selbstsicher SAP-Transaktionscodes halluziniert —, und der Unterschied zwischen einem erfahrenen KI-Architekten und einem begeisterten Pilotteam wird meist genau an dieser einen Entscheidung sichtbar.

Die drei Ansätze

In-Context Learning (ICL) platziert die relevanten Beispiele oder das Wissen zum Inferenzzeitpunkt direkt im Prompt. Es benötigt keine Trainingspipeline, ist innerhalb von Stunden einsatzbereit und ist der richtige Standard für Prototypen und Anwendungsfälle mit geringem Volumen. Seine Obergrenze ist das Kontextfenster — 128.000 Token bei Joule-Modellen auf BTP —, und jedes Token in diesem Fenster wird bei jedem einzelnen Aufruf bezahlt und verarbeitet, sodass die Kosten linear mit der Menge an eingefügtem Kontext skalieren, unabhängig davon, wie viel davon das Modell tatsächlich benötigt. Das parametrische Wissen des Modells ist zudem zum Trainings-Cutoff eingefroren, sodass ICL allein ein Modell nicht auf Dinge aufmerksam machen kann, die nach diesem Datum geschehen sind.

Warum es zählt

In-Context Learning ist innerhalb von Stunden einsatzbereit und der richtige Standard für Prototypen, aber alles muss in das 128.000-Token-Joule-Fenster passen, und die Kosten skalieren pro Aufruf.
RAG ist der Produktionsstandard, weil es auf Millionen von Seiten skaliert (SAP Help Portal), ohne erneutes Training aktuell bleibt und prüfbare Quellenangaben liefert.
Fine-Tuning ist Fällen vorbehalten, die ein konsistentes Ausgabeformat oder eine implizite Verhaltensänderung erfordern — nicht dem Einbringen frischen Wissens.

Kernpunkte

ICL: kein Training, innerhalb von Stunden einsatzbereit, Wissen im Prompt — richtig für PoC und sich häufig ändernde SAP-Inhalte (Release-Notes, Preislisten); begrenzt durch die Größe des Kontextfensters.
RAG: externer Vektorindex, Retrieval zum Anfragezeitpunkt, bewältigt beliebig große Korpora, bleibt ohne erneutes Training aktuell, liefert Quellenangaben — Produktionsstandard für SAP-Wissensanwendungen.
Fine-Tuning: aktualisiert Modellgewichte, verbessert Formatkonsistenz und implizites SAP-Wissen, senkt die Token-Kosten pro Aufruf — nur gerechtfertigt, wenn Formattreue nicht verhandelbar ist UND das Wissen stabil ist UND das Aufrufvolumen ~1 Mio./Tag übersteigt.
SAP-Dokumentation ändert sich vierteljährlich: fine-getunte Modelle veralten mit jedem Release-Zyklus; RAG bleibt aktuell, indem neue Dokumentation neu indexiert wird.
Hybrides Muster: RAG (faktische Fundierung) + ICL (Few-Shot-Formatierung) + Fine-Tuning (nur Ausgabestruktur) setzt sich bei über 80 % der SAP-Enterprise-Implementierungen durch.
Die HANA Cloud Vector Engine macht eine separate Vektordatenbank überflüssig; SAP AI Core hostet Embedding- und Completion-Modelle — alles innerhalb der BTP-Vertrauensgrenze.
RAG vs. Fine-Tuning vs. In-Context Learning — Entscheidungsrahmen für SAP-Wissen ist erst dann beherrscht, wenn es eine konkret benannte Kaufentscheidung verändert.
Beginnen Sie mit dem semantischen Vertrag und dem Kontrollmodell, bevor Sie das Tool demonstrieren.
Nutzen Sie aktuelle SAP-, Analysten-, Studien-, Knowledge-Graph- und Nachrichtensignale als Beleg, nicht als Dekoration.
Trennen Sie verifizierte Fakten von richtungsweisenden Trends und modellierten Annahmen.

Begriffe auf dieser Seite

RAG (Retrieval-Augmented Generation): Architektur, die zum Inferenzzeitpunkt relevante Dokument-Chunks aus einem Vektorindex abruft und sie als Kontext in den LLM-Prompt einfügt, wodurch Antworten auf aktuellen, zitierfähigen Quellen basieren.
Fine-Tuning: Prozess, bei dem die Gewichte eines vortrainierten Modells anhand eines domänenspezifischen gelabelten Datensatzes aktualisiert werden, um sein Verhalten, Format oder implizites Wissen zu spezialisieren.
In-Context Learning (ICL): Technik, bei der Aufgabenanweisungen, Beispiele und/oder Wissen zum Inferenzzeitpunkt direkt im Prompt platziert werden; benötigt kein Training.
Few-Shot-Prompting: Form von ICL, bei der 3-10 Eingabe-Ausgabe-Beispiele in den Prompt aufgenommen werden, um das gewünschte Antwortformat oder Argumentationsmuster zu demonstrieren.
Entscheidungsverantwortlicher: Die verantwortliche Person, die den Kompromiss akzeptiert und die nächste Aktion finanziert.
Semantischer Vertrag: Die gemeinsame Definition von Geschäftsbegriffen, Kennzahlen, Entitäten und Zugriffsregeln, die von Tools und Teams verwendet wird.
Kontrollebene: Die Schicht, die Richtlinien, Zugriff, Lineage, Monitoring und Eskalation über das Betriebsmodell hinweg anwendet.
Evidenzgrad: Eine Kennzeichnung, die verifizierte Fakten, richtungsweisende Signale, modellierte Annahmen und Feldbeobachtungen voneinander unterscheidet.

Quellen

Vollständige Karte für Mitglieder. Was die vollständige Karte ergänzt: den vollständigen Entscheidungsrahmen · den Vergleich SAP · Snowflake · Databricks · Fabric · die häufigen Fallstricke und ihre Behebung · die Kurzreferenz · die Architekturschemata · die Codeblöcke · die zitierfähigen Kennzahlen.

In der App öffnen →