Die Orchestrierungspipeline des Generative AI Hub — die sechs Module in ihrer Reihenfolge

Die Pipeline in einem Satz

Der Orchestration Service des Generative AI Hub (C119) verbindet Module zu einer Pipeline, die ein einziger API-Aufruf ausführt: POST {deploymentUrl}/v2/completion mit dem Header AI-Resource-Group. SAP legt die Reihenfolge zentral fest; Sie konfigurieren jedes Modul in config.modules oder lassen optionale Module weg. Den praktischen Aufbau eines solchen Aufrufs behandelt Modul M325; diese Karte erklärt, was jede Stufe tut, in welcher Reihenfolge und wie sie scheitert.

Die tatsächliche Ausführungsreihenfolge

SAPs Workflow-Dokumentation listet die Stufen in dieser Reihenfolge, und die intermediate_results einer vollständigen V2-Antwort kommen in derselben Abfolge zurück:

1. Grounding (optional) – holt Abschnitte aus Ihren Datenrepositories für den angegebenen Platzhalter und schreibt sie in einen anderen Platzhalter. Ist die Maskierung mit mask_grounding_input konfiguriert, wird die Grounding-Abfrage vor der Suche maskiert.
2. Templating (verpflichtend) – baut die Nachrichten aus der Vorlage und den Platzhalterwerten, einschließlich der Grounding-Ausgabe.
3. Eingabeübersetzung (optional) – übersetzt den erzeugten Prompt über den Service Document Translation von SAP Translation Hub.
4. Datenmaskierung (optional) – anonymisiert oder pseudonymisiert personenbezogene Daten im Prompt.
5. Eingabefilterung (optional) – Prüfungen der Inhaltssicherheit; schlägt ein konfigurierter Filter an, wird das Modell nie aufgerufen.
6. Modellaufruf (verpflichtend) – das LLM über die harmonisierte API.
7. Ausgabefilterung (optional) – Prüfungen der Inhaltssicherheit für jede zurückgegebene Auswahl.
8. Demaskierung – pseudonymisierte Werte werden in der Antwort wiederhergestellt (nur bei Pseudonymisierung).
9. Ausgabeübersetzung (optional) – laut SAP-Dokumentation nach der Demaskierung, auf der demaskierten Ausgabe.

Warum es zählt

• Wer weiß, dass die Eingabefilterung nach Maskierung und Übersetzung läuft, versteht, warum ein Filter Inhalte übersieht oder zu streng markiert: Er bewertet den übersetzten, maskierten Prompt, nicht die Eingabe des Nutzers.
• Eine abgelehnte Eingabe kostet einen Filteraufruf, aber keine Modell-Token; eine Blockade in der Ausgabe liefert HTTP 200 mit finish_reason content_filter – Client-Code, der nur den HTTP-Status prüft, zeigt leere Antworten.
• Der V1-Endpunkt verschwindet am 31. Oktober 2026, und masking_providers hat sein Entfernungsdatum 15. September 2026 überschritten: Payloads aus älteren Blogs oder Folien scheitern schon heute.

Kernpunkte

• Reihenfolge: Grounding → Templating → Eingabeübersetzung → Maskierung → Eingabefilterung → Modell → Ausgabefilterung → Demaskierung → Ausgabeübersetzung.
• Pflicht: prompt_templating mit seinem Block model. Alles andere ist optional und kann entfallen.
• Die Folie mit sechs Kästchen stimmt in der Abfolge, lässt aber beide Übersetzungen und die Demaskierung weg; der Modellzugriff ist in V2 kein eigenes Modul.
• Maskierung: Anonymisierung ist irreversibel; Pseudonymisierung wird in der Antwort und in Tool-Call-Argumenten wiederhergestellt; mask_grounding_input maskiert die Suchanfrage.
• Filterung: Azure Content Safety (Schwellen 0/2/4/6, Prompt Shield, geschützter Code) und Llama Guard 3 (14 boolesche Kategorien); jeder Verstoß führt zur Ablehnung.
• Fallbacks: config.modules als Liste; Wechsel bei nicht unterstütztem Modell sowie bei 408/429/5xx für Aufrufe ohne Streaming.
• Fristen: Entfernungsdatum von masking_providers 15.09.2026; V1 /completion am 31.10.2026 abgeschaltet.
• Die Übersetzung nutzt SAP Translation Hub (sap_document_translation), bei der Eingabe vor der Maskierung, bei der Ausgabe nach der Demaskierung.

Begriffe auf dieser Seite

Orchestrierungskonfiguration

Das JSON unter config.modules, das jede Pipelinestufe konfiguriert; kann in der Prompt Registry gespeichert und versioniert werden.

Platzhalter

Eine Variable {{?name}} in einer Vorlage, befüllt aus placeholder_values oder, bei der Grounding-Ausgabe, durch das Grounding-Modul.

Pseudonymisierung

Maskierungsmethode, die personenbezogene Daten durch nummerierte Platzhalter ersetzt und die Originale in der Antwort wiederherstellt.

Anonymisierung

Maskierungsmethode, die personenbezogene Daten unumkehrbar ersetzt; Modell und Antwort sehen nur Platzhalter.

Prompt Shield

Erkennung von Prompt-Angriffen in Azure Content Safety für die Eingabe; läuft vor der Schadensklassifikation und ignoriert Nachrichten mit den Rollen system und developer.

Llama Guard 3

Inhaltsklassifikator (llama_guard_3_8b) mit 14 Gefahrenkategorien als boolesche Werte; durchgesetzt werden nur angeforderte Kategorien.

intermediate_results

Ergebnisse jeder Stufe, die mit der Antwort zurückkommen (Grounding, Templating, Maskierung, Filterung, llm …); können sensible Daten enthalten.

Fallback-Konfiguration

Eine geordnete Liste von Modulkonfigurationen; die Orchestrierung wechselt zur nächsten bei nicht unterstütztem Modell oder, ohne Streaming, bei 408, 429 und 5xx.

Quellen

1. SAP AI Core docs (SAP-docs GitHub, 14 Sep 2026) — Orchestration Workflow V2: endpoint, modules, full example
2. SAP AI Core docs — Orchestration Workflow V1 (deprecated, decommissioning 31 Oct 2026) with the module order
3. SAP AI Core docs — Templating (placeholders, defaults, template_ref, timeout, max_retries)
4. SAP AI Core docs — Grounding (repositories, 8,000 documents per pipeline, Pipelines/Vector APIs)
5. SAP AI Core docs — Translation module (runs before input masking, after output unmasking)
6. SAP AI Core docs — Data Masking (anonymization vs pseudonymization, entity list)
7. SAP AI Core docs — Enhancing Model Consumption with Data Masking (providers, allowlist, mask_grounding_input)
8. SAP AI Core docs — Content Filtering (Azure Content Safety, Prompt Shield, Llama Guard 3)
9. SAP AI Core docs — Enhancing Model Consumption with Input Filtering
10. SAP AI Core docs — Orchestration with Fallbacks (408, 429, 5xx, unsupported model)
11. SAP AI Core docs — Orchestration Error Handling (V1 vs V2 error shape)
12. SAP AI Core docs — Orchestration overview (global scenario orchestration, harmonized API)
13. SAP AI Core — What's New (SAP-docs GitHub): RPT-1.5/1.6, Tabular AI Orchestration, masking_providers removal, Prompt Shield change
14. SAP AI Core docs — Enhancing Model Consumption with Output Filtering (finish_reason content_filter)
15. SAP AI Core docs — Streaming (chunk_size default 100, overlap, accuracy of filtering and unmasking)
16. SAP AI Core docs — Model Configuration (timeout 1–600 s, max_retries 0–5)