AI & Analytics Legends Die Wissensplattform für SAP Analytics
Leitfaden

RAG SAP Architekt und LLM SAP Architekt: was vor dem Index entschieden wird

RAG SAP Architekt und LLM SAP Architekt: was vor dem Index entschieden wird — Abschnittsillustration von Analytics Legends für SAP-Analytics-Marktinformationen (Datasphere, BDC, SAC, BW/4HANA)

Stand

Redaktion: , alleiniger Redakteur und verantwortlich für die Veröffentlichung — 27 Jahre im SAP-Ökosystem. Wie diese Seiten entstehen und wo Automatisierung eingesetzt wird.

Ein RAG SAP Architekt entscheidet, über welchen Kanal ein Sprachmodell Unternehmenswissen erhält, bevor ein einziges Dokument indexiert wird. SAP bietet drei Kanäle: das Grounding-Modul des Orchestrierungsdienstes in SAP AI Core für Dokumente, das Dokument-Grounding von Joule und das strukturierte Grounding über Datenprodukte von Business Data Cloud und den SAP Knowledge Graph. Jeder scheitert auf eigene Weise, wenn er für die falsche Frage eingesetzt wird. Die Wahl des Kanals ist die erste Architekturentscheidung, nicht die Wahl des Modells.

LLM SAP Architekt: die drei Grounding-Kanäle

Für Prosa, also Richtlinien, Handbücher, Verträge und Tickets, ist das Grounding-Modul zuständig: Dokumente werden in Abschnitte zerlegt, in Vektoren umgewandelt und gespeichert, zur Fragezeit wird ähnlicher Inhalt gesucht und in den Prompt eingefügt. Unterstützte Quellen sind unter anderem SharePoint, AWS S3, SFTP, SAP Build Work Zone, SAP Document Management, ServiceNow und Google Drive.

Für exakte Fakten, Kennzahlen und Beziehungspfade zwischen Geschäftsobjekten taugt ein Vektorindex nicht. Hier greifen Datenprodukte, Datasphere oder HANA-Tabellen, ergänzt um die Semantik des SAP Knowledge Graph. Wer Prosa, Kennzahlen und Beziehungsfragen in denselben Index legt, baut den häufigsten Fehler gleich in die Architektur ein.

Grenzen, die die Architektur vorgeben

Die verwalteten Pipelines aktualisieren täglich und fassen höchstens 8.000 Dokumente je Pipeline. Eine Frage zu Beständen oder Preisen, die sich seit der letzten Aktualisierung bewegt haben, gehört deshalb nicht in die Dokumentenpipeline, sondern in einen strukturierten Abruf. Wer eigene Abschnittsgrenzen, eine nicht unterstützte Quelle oder eine schnellere Aktualisierung braucht, lädt seine Abschnitte selbst über die Vector API hoch.

Die zweite Grenze betrifft Berechtigungen. Beim Dokument-Grounding von Joule sind aufgenommene Dokumente für alle Joule-Benutzer des Mandanten sichtbar; eine Filterung nach Benutzerrechten gibt es dort noch nicht. Ein Architekt segmentiert die Quellen deshalb nach Zielgruppe, bevor er indexiert, nicht nach der ersten Beschwerde.

RAG oder Feinabstimmung: die Entscheidung, an der man Erfahrung erkennt

RAG ist der Produktionsstandard für SAP-Wissensanwendungen: Es skaliert über jedes Kontextfenster hinaus, bleibt ohne Neutraining aktuell und kann zu jeder Aussage die Quelle angeben. Feinabstimmung ändert Modellgewichte und lohnt sich nur, wenn Formattreue unverzichtbar, das Wissen stabil und das Aufrufvolumen sehr hoch ist. Da sich SAP-Dokumentation mit jedem Release ändert, veralten feinabgestimmte Modelle schnell.

Vor dem Go-live gehört eine Evaluierung: Die Evaluations-Funktion von SAP AI Core misst unter anderem RAG-Groundedness und Kontextrelevanz per LLM-as-a-judge auf Ihrem eigenen Datensatz. Fragen Sie, ob der Kandidat damit gearbeitet hat.

RAG SAP Freiberufler und LLM SAP Freiberufler: der Markt

Im Analytics-Legends-Korpus vom 10. Oktober 2026 tragen 47 von 1.636 aktiven Ausschreibungen das Merkmal RAG, aber nur 5 davon verlangen zugleich SAP-Kenntnisse, alle als Festanstellung, 3 in Deutschland. Die übrigen sind allgemeine KI-Rollen ohne SAP-Bezug. Die Merkmale LLM oder generative KI tragen 147 Ausschreibungen; 41 davon mit SAP-Bezug, alle Festanstellungen, 20 in Deutschland.

Für Sie heißt das: Ein RAG SAP Berater freelance oder LLM SAP Berater freelance wird selten öffentlich gesucht, sondern für begrenzte Arbeit direkt beauftragt. Prüfen Sie, ob er SAP-Datenmodelle kennt; ein allgemeiner RAG-Entwickler kennt sie oft nicht.

RAG SAP Berater freiberuflich: Prüffragen

Welcher Kanal für welche Frage, und warum? Wie wurden die Berechtigungen der Quellsysteme vor der Indexierung nachgebildet? Wie wurde die Zahl der abgerufenen Abschnitte eingestellt: an echten Fragen je Anwendungsfall oder per Faustregel? Welche Evaluierungsmetriken liefen vor dem Go-live?

Ein LLM SAP Berater freiberuflich, der auf diese vier Fragen konkrete Beispiele nennt, hat RAG in Produktion gebracht. Wer nur Modellnamen und Frameworks aufzählt, hat vermutlich einen Prototyp gebaut.

Was wir nicht behaupten können

Kein uns vorliegender Bericht erhebt einen Tagessatz für RAG- oder LLM-Arbeit auf SAP; die genannte Spanne ist eine Prognose. Ob und wann Joule beim Dokument-Grounding nach Benutzerrechten filtert, war zum Stand unserer Quellen offen. Die Ausschreibungszahlen hängen von der Merkmalsvergabe ab und gelten nur zum genannten Datum.

Häufige Fragen

Braucht RAG in SAP eine separate Vektordatenbank?

Nein. Die Vector Engine von SAP HANA Cloud speichert Vektoren neben den Geschäftsdaten und erlaubt Ähnlichkeitssuche und Joins in derselben SQL-Abfrage; das verwaltete Document Grounding nutzt ebenfalls den HANA-Vektorspeicher.

Filtert Joule beim Dokument-Grounding nach Benutzerrechten?

Nach dem Stand unserer Quellen nicht: Aufgenommene Dokumente sind für alle Joule-Benutzer des Mandanten sichtbar. Segmentieren Sie die Quellen vorher.

Welchen Tagessatz soll ich einplanen?

Kein Bericht erhebt einen Satz für RAG-Arbeit auf SAP. Unsere Tagessatzstudie setzt für Joule- und Agentenspezialisten in Deutschland eine Prognose von 1.093 bis 1.330 € an; behandeln Sie sie als gekennzeichnete Verhandlungsspanne.

Den Herausgeber beauftragen

Dieser Leitfaden stammt von . 27 Jahre SAP — Datasphere, Business Data Cloud, SAC Planning, Joule. Freiberuflich oder Festanstellung · Hybrid / remote · Ganz EMEA. Verfügbar ab 19. Oktober 2026.

Profil und Kontakt

Worauf diese Seite aufbaut

Externe Quellen

Weiterlesen