RAG vs. Fine-Tuning vs. In-Context Learning für SAP-Wissen

Jedes SAP-KI-Projekt, das ein Sprachmodell über Unternehmenswissen legt, stößt innerhalb der ersten zwei Wochen auf dieselbe Weggabelung: Ruft man das Wissen zum Anfragezeitpunkt ab (RAG), backt man es in die Gewichte des Modells ein (Fine-Tuning), oder reicht man es dem Modell einfach im Prompt (In-Context Learning)? Diese Entscheidung falsch zu treffen, ist auf drei verschiedene Arten teuer — verdoppelte Infrastrukturkosten, Monate zusätzlicher Verzögerung bis zum Go-live, oder ein Modell, das vor einem Kunden selbstsicher SAP-Transaktionscodes halluziniert —, und der Unterschied zwischen einem erfahrenen KI-Architekten und einem begeisterten Pilotteam wird meist genau an dieser einen Entscheidung sichtbar.

Die drei Ansätze

In-Context Learning (ICL) platziert die relevanten Beispiele oder das Wissen zum Inferenzzeitpunkt direkt im Prompt. Es benötigt keine Trainingspipeline, ist innerhalb von Stunden einsatzbereit und ist der richtige Standard für Prototypen und Anwendungsfälle mit geringem Volumen. Seine Obergrenze ist das Kontextfenster — 128.000 Token bei Joule-Modellen auf BTP —, und jedes Token in diesem Fenster wird bei jedem einzelnen Aufruf bezahlt und verarbeitet, sodass die Kosten linear mit der Menge an eingefügtem Kontext skalieren, unabhängig davon, wie viel davon das Modell tatsächlich benötigt. Das parametrische Wissen des Modells ist zudem zum Trainings-Cutoff eingefroren, sodass ICL allein ein Modell nicht auf Dinge aufmerksam machen kann, die nach diesem Datum geschehen sind.

Warum es zählt

• In-Context Learning ist innerhalb von Stunden einsatzbereit und der richtige Standard für Prototypen, aber alles muss in das 128.000-Token-Joule-Fenster passen, und die Kosten skalieren pro Aufruf.
• RAG ist der Produktionsstandard, weil es auf Millionen von Seiten skaliert (SAP Help Portal), ohne erneutes Training aktuell bleibt und prüfbare Quellenangaben liefert.
• Fine-Tuning ist Fällen vorbehalten, die ein konsistentes Ausgabeformat oder eine implizite Verhaltensänderung erfordern — nicht dem Einbringen frischen Wissens.

Kernpunkte

• ICL: kein Training, innerhalb von Stunden einsatzbereit, Wissen im Prompt — richtig für PoC und sich häufig ändernde SAP-Inhalte (Release-Notes, Preislisten); begrenzt durch die Größe des Kontextfensters.
• RAG: externer Vektorindex, Retrieval zum Anfragezeitpunkt, bewältigt beliebig große Korpora, bleibt ohne erneutes Training aktuell, liefert Quellenangaben — Produktionsstandard für SAP-Wissensanwendungen.
• Fine-Tuning: aktualisiert Modellgewichte, verbessert Formatkonsistenz und implizites SAP-Wissen, senkt die Token-Kosten pro Aufruf — nur gerechtfertigt, wenn Formattreue nicht verhandelbar ist UND das Wissen stabil ist UND das Aufrufvolumen ~1 Mio./Tag übersteigt.
• SAP-Dokumentation ändert sich vierteljährlich: fine-getunte Modelle veralten mit jedem Release-Zyklus; RAG bleibt aktuell, indem neue Dokumentation neu indexiert wird.
• Hybrides Muster: RAG (faktische Fundierung) + ICL (Few-Shot-Formatierung) + Fine-Tuning (nur Ausgabestruktur) setzt sich bei über 80 % der SAP-Enterprise-Implementierungen durch.
• Die HANA Cloud Vector Engine macht eine separate Vektordatenbank überflüssig; SAP AI Core hostet Embedding- und Completion-Modelle — alles innerhalb der BTP-Vertrauensgrenze.

Begriffe auf dieser Seite

RAG (Retrieval-Augmented Generation)

Architektur, die zum Inferenzzeitpunkt relevante Dokument-Chunks aus einem Vektorindex abruft und sie als Kontext in den LLM-Prompt einfügt, wodurch Antworten auf aktuellen, zitierfähigen Quellen basieren.

Fine-Tuning

Prozess, bei dem die Gewichte eines vortrainierten Modells anhand eines domänenspezifischen gelabelten Datensatzes aktualisiert werden, um sein Verhalten, Format oder implizites Wissen zu spezialisieren.

In-Context Learning (ICL)

Technik, bei der Aufgabenanweisungen, Beispiele und/oder Wissen zum Inferenzzeitpunkt direkt im Prompt platziert werden; benötigt kein Training.

Few-Shot-Prompting

Form von ICL, bei der 3-10 Eingabe-Ausgabe-Beispiele in den Prompt aufgenommen werden, um das gewünschte Antwortformat oder Argumentationsmuster zu demonstrieren.

Wissens-Cutoff

Das Datum, bis zu dem das parametrische (in den Gewichten verankerte) Wissen eines Modells reicht; ICL und Fine-Tuning sind beide dadurch für nicht zur Inferenzzeit gelieferte Fakten begrenzt — nur RAG kann Informationen nach dem Cutoff liefern, weil es abruft statt sich zu erinnern.

Orchestrierungs-Grounding

SAPs Begriff (im Generative AI Hub) für die als Modul im Orchestrierungsdienst konfigurierte RAG-Mechanik — ruft relevanten Inhalt vor dem LLM-Aufruf ab und fügt ihn ein; die produktive Umsetzung des in dieser Karte beschriebenen RAG-Musters auf SAPs eigenem Stack.

Retrieval-Anzahl (k)

Die Anzahl der am höchsten gerankten Chunks, die eine RAG-Pipeline je Anfrage zurückgibt; ein zu kleines k riskiert, die Antwort zu verfehlen, ein zu großes k führt erneut zu Lost-in-the-Middle-Verschlechterung und bläht die Token-Kosten auf — je Korpus und Anfragetyp abgestimmt, nicht global fixiert.

Katastrophales Vergessen

Das Risiko, dass Fine-Tuning eines Modells auf einem engen Datensatz dessen allgemeine Fähigkeiten außerhalb dieses Datensatzbereichs verschlechtert; ein Grund, Fine-Tuning eng auf Format oder Verhalten zu begrenzen, statt es als allgemeine Methode zur Wissenseinspeisung zu nutzen.

Quellen

1. Lewis et al. — Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (2020)
2. SAP AI Core — model fine-tuning guide on BTP
3. Gao et al. — Retrieval-Augmented Generation for Large Language Models: A Survey (2023)
4. SAP HANA Cloud Vector Engine — developer guide
5. SAP Business AI — official product page
6. SAP Joule (work companion) — official product page
7. SAP Help Portal — Generative AI Hub overview, SAP AI Core (2026)
8. Hu et al. — LoRA: Low-Rank Adaptation of Large Language Models, arXiv:2106.09685 (2021)
9. OpenAI — Fine-tuning guide (platform documentation)
10. Brown et al. — Language Models are Few-Shot Learners (GPT-3, in-context learning), arXiv:2005.14165 (2020)
11. Anthropic — Prompt engineering / few-shot prompting documentation
12. Wei et al. — Finetuned Language Models Are Zero-Shot Learners, arXiv:2109.01652 (2021)