Le pipeline d'orchestration du Generative AI Hub — les six modules dans l'ordre

Le pipeline en une phrase

Le service d'orchestration du generative AI hub (C119) combine des modules en un pipeline exécuté par un seul appel d'API, POST {deploymentUrl}/v2/completion avec l'en-tête AI-Resource-Group. SAP fixe l'ordre de manière centralisée ; vous configurez chaque module ou omettez les modules facultatifs dans config.modules. La construction pratique d'un tel appel fait l'objet du module M325 ; cette fiche explique ce que fait chaque étape, dans quel ordre et comment elle échoue.

L'ordre réel d'exécution

La documentation de SAP sur le workflow liste les étapes dans cet ordre, et les intermediate_results d'une réponse V2 complète reviennent dans la même séquence :

Pourquoi c'est important

• Savoir que le filtrage d'entrée s'exécute après le masquage et la traduction explique pourquoi un filtre peut rater ou sur-signaler un contenu : il évalue le prompt traduit et masqué, pas ce que l'utilisateur a saisi.
• Une entrée rejetée coûte un appel de filtre mais aucun jeton de modèle ; un blocage en sortie renvoie un HTTP 200 avec finish_reason content_filter — un code client qui ne teste que le statut HTTP affichera des réponses vides.
• L'endpoint V1 disparaît le 31 octobre 2026 et masking_providers a dépassé sa date de suppression du 15 septembre 2026 : les charges utiles copiées d'anciens blogs ou diapositives échouent dès aujourd'hui.

Points clés

• Ordre : grounding → templating → traduction d'entrée → masquage → filtrage d'entrée → modèle → filtrage de sortie → démasquage → traduction de sortie.
• Obligatoire : prompt_templating avec son bloc model. Tout le reste est facultatif et peut être omis.
• La diapositive à six cases est juste sur la séquence mais omet les deux traductions et le démasquage ; l'accès au modèle n'est pas un module distinct en V2.
• Masquage : l'anonymisation est irréversible ; la pseudonymisation est rétablie dans la réponse et dans les arguments d'appels d'outils ; mask_grounding_input masque la requête de recherche.
• Filtrage : Azure Content Safety (seuils 0/2/4/6, Prompt Shield, code protégé) et Llama Guard 3 (14 catégories booléennes) ; toute violation entraîne le rejet.
• Replis : config.modules sous forme de liste ; bascule sur modèle non pris en charge, et sur 408/429/5xx pour les appels sans streaming.
• Échéances : date de suppression de masking_providers le 15 sept. 2026 ; V1 /completion décommissionné le 31 oct. 2026.
• La traduction utilise SAP Translation Hub (sap_document_translation), avant le masquage en entrée et après le démasquage en sortie.

Termes employés sur cette page

Configuration d'orchestration

Le JSON sous config.modules qui configure chaque étape du pipeline ; il peut être stocké et versionné dans le prompt registry.

Placeholder

Une variable {{?nom}} dans un modèle de prompt, remplie à partir de placeholder_values ou, pour la sortie du grounding, par le module de grounding.

Pseudonymisation

Méthode de masquage qui remplace les données personnelles par des placeholders numérotés et rétablit les originaux dans la réponse.

Anonymisation

Méthode de masquage qui remplace les données personnelles de façon irréversible ; le modèle et la réponse ne voient que des placeholders.

Prompt Shield

Détection d'attaques par prompt d'Azure Content Safety en entrée ; s'exécute avant la classification des contenus nuisibles et ignore les messages system et developer.

Llama Guard 3

Classifieur de contenu (llama_guard_3_8b) avec 14 catégories de risques configurées en booléens ; seules les catégories demandées sont appliquées.

intermediate_results

Sorties de chaque étape renvoyées avec la réponse (grounding, templating, masquage, filtrage, llm…) ; elles peuvent contenir des données sensibles.

Configuration de repli

Une liste ordonnée de configurations de modules ; l'orchestration passe à la suivante sur modèle non pris en charge ou, sans streaming, sur 408, 429 et 5xx.

Sources

1. SAP AI Core docs (SAP-docs GitHub, 14 Sep 2026) — Orchestration Workflow V2: endpoint, modules, full example
2. SAP AI Core docs — Orchestration Workflow V1 (deprecated, decommissioning 31 Oct 2026) with the module order
3. SAP AI Core docs — Templating (placeholders, defaults, template_ref, timeout, max_retries)
4. SAP AI Core docs — Grounding (repositories, 8,000 documents per pipeline, Pipelines/Vector APIs)
5. SAP AI Core docs — Translation module (runs before input masking, after output unmasking)
6. SAP AI Core docs — Data Masking (anonymization vs pseudonymization, entity list)
7. SAP AI Core docs — Enhancing Model Consumption with Data Masking (providers, allowlist, mask_grounding_input)
8. SAP AI Core docs — Content Filtering (Azure Content Safety, Prompt Shield, Llama Guard 3)
9. SAP AI Core docs — Enhancing Model Consumption with Input Filtering
10. SAP AI Core docs — Orchestration with Fallbacks (408, 429, 5xx, unsupported model)
11. SAP AI Core docs — Orchestration Error Handling (V1 vs V2 error shape)
12. SAP AI Core docs — Orchestration overview (global scenario orchestration, harmonized API)
13. SAP AI Core — What's New (SAP-docs GitHub): RPT-1.5/1.6, Tabular AI Orchestration, masking_providers removal, Prompt Shield change
14. SAP AI Core docs — Enhancing Model Consumption with Output Filtering (finish_reason content_filter)
15. SAP AI Core docs — Streaming (chunk_size default 100, overlap, accuracy of filtering and unmasking)
16. SAP AI Core docs — Model Configuration (timeout 1–600 s, max_retries 0–5)