Biais, équité et explicabilité de l'IA dans SAP AI

Le biais appartient à un système en contexte, pas à un modèle seul

Un biais est un écart systématique de résultats ou de qualité de sortie qui suit une caractéristique de groupe et que la finalité visée ne justifie pas. L'AI RMF 1.0 du NIST (janvier 2023) distingue trois catégories : le biais systémique (présent dans les jeux de données, les pratiques des organisations et la société), le biais computationnel et statistique (souvent des échantillons non représentatifs) et le biais cognitif humain (la façon dont les personnes lisent et utilisent la sortie d'une IA). Chacun peut exister sans intention discriminatoire, et un biais atténué n'est pas synonyme d'équité. Pour un consultant, « le modèle est sans biais » n'est jamais testable ; « cette configuration, sur cette population, pour cette décision, respecte ces seuils » l'est.

Pourquoi c'est important

• Le recrutement, le suivi de la performance et le scoring de crédit sont des domaines à haut risque de l'annexe III du règlement sur l'IA : l'examen des biais (art. 10) et la supervision humaine (art. 14) deviennent des exigences de livraison pour l'IA RH et finance sur SAP.
• Le manuel d'éthique de l'IA de SAP traite l'emploi/RH comme un domaine à haut risque et place la discrimination parmi les lignes rouges : clients et partenaires sont censés classer leurs cas d'usage de la même façon.
• Les filtres et le masquage du generative AI hub sont des couches de sécurité ; seules des évaluations par groupe et des tests contrefactuels montrent si les utilisateurs francophones, germanophones et anglophones, ou différents candidats, sont traités de façon équivalente.

Points clés

• Le biais se teste par décision, population et langue ; « le modèle est sans biais » n'est pas une affirmation testable.
• AI RMF 1.0 du NIST (janv. 2023) : biais systémique, computationnel/statistique et cognitif humain ; biais atténué ne veut pas dire équitable.
• Parité démographique, chances égalisées et calibration ne tiennent pas ensemble quand les taux de base diffèrent (arXiv 1609.05807, 1709.02012).
• Les explications en chaîne de raisonnement d'un LLM peuvent dire autre chose que la vraie raison (arXiv 2305.04388) ; journaliser entrées, sources et versions de prompt.
• Annexe III du règlement sur l'IA, point 4 (emploi) et 5, b) (scoring de crédit de personnes physiques) : haut risque ; l'art. 10, par. 2, f)-g) impose examen et atténuation des biais.
• L'art. 14 nomme le biais d'automatisation : un relecteur humain n'est un contrôle que s'il peut et va passer outre.
• Filtrage et masquage du generative AI hub sont des couches de sécurité ; le masquage des noms de personnes couvre l'anglais et les lieux les États-Unis seulement (doc SAP).
• Les dates du Digital Omnibus (annexe III au 2 déc. 2027) viennent de cabinets d'avocats et d'une résolution du Parlement du 16 juin 2026 ; à vérifier sur EUR-Lex.

Termes employés sur cette page

Parité démographique

Critère d'équité exigeant le même taux de décisions positives dans chaque groupe.

Chances égalisées

Critère exigeant les mêmes taux de vrais et de faux positifs entre groupes ; l'égalité des chances l'assouplit au taux de vrais positifs.

Calibration

Un score prédit correspond à la même probabilité réelle dans chaque groupe.

Variable substitutive (proxy)

Variable (code postal, temps partiel, prénom) corrélée à un attribut protégé et qui le réintroduit après suppression.

Paire contrefactuelle

Deux entrées identiques sauf un élément lié à un groupe, pour détecter un traitement différent.

Fiche de modèle (model card)

Document court indiquant l'usage prévu, la procédure d'évaluation et les performances par groupe d'un modèle.

Explication globale ou locale

La globale décrit le comportement d'ensemble ; la locale explique une décision individuelle.

Biais d'automatisation

Confiance excessive dans la sortie automatisée ; nommé à l'art. 14 du règlement sur l'IA comme point de vigilance des superviseurs.

Sources

1. EUR-Lex — Regulation (EU) 2024/1689 (Artificial Intelligence Act), OJ L 12 Jul 2024: Arts 10, 13, 14, 26, 50, 86, Annex III, recital 67, entry into force (accessed 18 Oct 2026)
2. European Parliament — Texts adopted P10_TA(2026)0198, Digital Omnibus on AI, legislative resolution of 16 June 2026 (accessed 18 Oct 2026)
3. Hunton — EU Digital Omnibus on AI enters into force (law-firm report: Regulation (EU) 2026/1744, 27 Jul 2026; Annex III 2 Dec 2027; Annex I 2 Aug 2028; secondary source, accessed 18 Oct 2026)
4. NIST AI 100-1 — Artificial Intelligence Risk Management Framework (AI RMF 1.0), January 2023 (accessed 18 Oct 2026)
5. NIST AI 600-1 — AI RMF Generative AI Profile, July 2024: 12 risks incl. Harmful Bias or Homogenization (accessed 18 Oct 2026)
6. SAP — AI Ethics Handbook, external version (file metadata suggests August 2023; accessed 18 Oct 2026): guiding principles, red lines, high-risk criteria
7. SAP Help (SAP-docs mirror) — SAP AI Core generative AI hub: Content Filtering (Azure Content Safety, Llama Guard 3; accessed 18 Oct 2026)
8. SAP Help (SAP-docs mirror) — SAP AI Core generative AI hub: Input Filtering (accessed 18 Oct 2026)
9. SAP Help (SAP-docs mirror) — SAP AI Core generative AI hub: Data Masking (entities, caution on detection coverage; accessed 18 Oct 2026)
10. SAP Help (SAP-docs mirror) — SAP AI Core generative AI hub: Evaluations (accessed 18 Oct 2026)
11. arXiv 1609.05807 — Inherent Trade-Offs in the Fair Determination of Risk Scores (v2, 17 Nov 2016)
12. arXiv 1610.02413 — Equality of Opportunity in Supervised Learning (7 Oct 2016)
13. arXiv 1709.02012 — On Fairness and Calibration (v2, 3 Nov 2017)
14. arXiv 1810.03993 — Model Cards for Model Reporting (v2, 14 Jan 2019)
15. arXiv 2309.00770 — Bias and Fairness in Large Language Models: A Survey (v3, 12 Jul 2024)
16. arXiv 2305.04388 — Language Models Don't Always Say What They Think: Unfaithful Explanations in Chain-of-Thought Prompting (v2, 9 Dec 2023)
17. TechTarget — How SAP sees the future of HR in the age of AI (13 May 2026; interview quote, press report not SAP documentation)