Konzeptkarte

KI-Verzerrung, Fairness und Erklärbarkeit in SAP AI

Stand 18. Oktober 2026

Redaktion: Cédric Mary, alleiniger Redakteur und verantwortlich für die Veröffentlichung — 27 Jahre im SAP-Ökosystem. Wie diese Seiten entstehen und wo Automatisierung eingesetzt wird.

Was ist KI-Verzerrung, Fairness und Erklärbarkeit in SAP AI?

Verzerrung in SAP AI wird je Entscheidung, Gruppe und Sprache getestet, nicht behauptet. Fairnessmetriken (demografische Parität, Equalised Odds, Kalibrierung) gelten nicht alle zugleich; der Fachverantwortliche wählt eine und hält die Begründung fest. LLM-Selbsterklärungen sind kein Prüfnachweis. Einstellung und Credit Scoring gehören zu Anhang III der KI-Verordnung (Art. 10 Bias, Art. 13 Transparenz, Art. 14 Aufsicht). Filter und Masking im generative AI hub liefern Sicherheit, keine Fairness; gemessen wird mit gruppenweisen Evaluierungen.

Verzerrung gehört zu einem System im Kontext, nicht zu einem Modell allein

Verzerrung (Bias) ist ein systematischer Unterschied bei Ergebnissen oder Ausgabequalität, der einem Gruppenmerkmal folgt und den der Verwendungszweck nicht rechtfertigt. Das AI RMF 1.0 des NIST (Januar 2023) unterscheidet drei Kategorien: systemische Verzerrung (in Datensätzen, Organisationspraktiken und Gesellschaft), computationale und statistische Verzerrung (oft nicht repräsentative Stichproben) und menschlich-kognitive Verzerrung (wie Menschen KI-Ausgaben lesen und nutzen). Jede kann ohne diskriminierende Absicht auftreten, und abgemilderte Verzerrung ist nicht gleichbedeutend mit Fairness. Für Berater ist „das Modell ist unverzerrt“ nie prüfbar; „diese Konfiguration erfüllt auf dieser Population für diese Entscheidung diese Schwellenwerte“ schon.

Woher Verzerrung kommt

Vier Einstiegspunkte kehren wieder. Trainingsdaten: Historie kodiert frühere Entscheidungen, und Erwägungsgrund 67 der EU-KI-Verordnung hält fest, dass Verzerrungen in Datensätzen angelegt sein können, besonders bei historischen Daten. Labeling: Annotationsrichtlinien oder frühere Genehmigungen, die als Ground Truth wiederverwendet werden, tragen menschliches Urteil in die Zielvariable. Proxys: Das Löschen eines geschützten Merkmals entfernt es nicht, wenn Postleitzahl, Teilzeit, Lücken im Lebenslauf, Vorname oder Sprache des Lebenslaufs damit korrelieren; in SAP-Daten kann eine Kostenstelle oder ein Werk diese Rolle spielen. Einsatzkontext: Ein auf einer Population validiertes Modell wird auf einer anderen eingesetzt, oder seine Ausgabe speist die nächste Entscheidung, die Schleife, die Artikel 10 Absatz 2 Buchstabe f beschreibt: „Datenausgaben beeinflussen Eingaben für künftige Vorgänge“.

Generative Modelle fügen das Vortraining des Foundation Models hinzu, das der Kunde weder steuert noch einsieht. Das NIST AI 600-1 (Juli 2024), das Profil für generative KI, nennt „Harmful Bias or Homogenization“ unter seinen zwölf Risiken.

Warum es zählt

Einstellung, Leistungsüberwachung und Credit Scoring sind Hochrisikobereiche in Anhang III der KI-Verordnung; Bias-Untersuchung (Art. 10) und menschliche Aufsicht (Art. 14) werden damit zu Lieferanforderungen für HR- und Finanz-KI auf SAP.
Das SAP AI Ethics Handbook behandelt Beschäftigung/HR als Hochrisikobereich und nennt Diskriminierung als rote Linie; Kunden und Partner sollen Anwendungsfälle entsprechend einstufen.
Filter und Masking im generative AI hub sind Sicherheitsschichten; erst gruppenweise Evaluierungen und kontrafaktische Tests zeigen, ob französisch-, deutsch- und englischsprachige Nutzer oder verschiedene Bewerber gleich behandelt werden.

Kernpunkte

Verzerrung wird je Entscheidung, Population und Sprache getestet; „das Modell ist unverzerrt“ ist keine prüfbare Aussage.
NIST AI RMF 1.0 (Jan. 2023): systemische, computationale/statistische und menschlich-kognitive Verzerrung; abgemilderte Verzerrung ist nicht gleich fair.
Demografische Parität, Equalised Odds und Kalibration gelten bei unterschiedlichen Basisraten nicht zugleich (arXiv 1609.05807, 1709.02012).
Chain-of-Thought-Erklärungen von LLMs können den wahren Grund falsch darstellen (arXiv 2305.04388); stattdessen Eingaben, Quellen und Prompt-Versionen protokollieren.
KI-Verordnung Anhang III Nr. 4 (Beschäftigung) und 5 b (Credit Scoring natürlicher Personen) sind Hochrisiko; Art. 10 Abs. 2 f-g verlangen Bias-Untersuchung und -Abmilderung.
Art. 14 nennt Automatisierungsbias: Ein menschlicher Prüfer ist nur dann eine Kontrolle, wenn er übersteuern kann und wird.
Filter und Masking im generative AI hub sind Sicherheitsschichten; Personennamen-Masking deckt Englisch, Orte nur die USA ab (SAP-Doku).
Digital-Omnibus-Termine (Anhang III bis 2. Dez. 2027) stammen aus Kanzleiberichten und einer Parlamentsentschließung vom 16. Juni 2026; auf EUR-Lex prüfen.

Begriffe auf dieser Seite

Demografische Parität: Fairnesskriterium: in jeder Gruppe dieselbe Quote positiver Entscheidungen.
Equalised Odds: Kriterium gleicher Richtig-Positiv- und Falsch-Positiv-Raten über Gruppen; Equal Opportunity schwächt es auf die Richtig-Positiv-Rate ab.
Kalibrierung: Ein vorhergesagter Score entspricht in jeder Gruppe derselben tatsächlichen Wahrscheinlichkeit.
Proxy-Variable: Merkmal (Postleitzahl, Teilzeit, Vorname), das mit einem geschützten Merkmal korreliert und es nach dem Entfernen wieder einführt.
Kontrafaktisches Paar: Zwei Eingaben, die sich nur in einem gruppenbezogenen Element unterscheiden, um Ungleichbehandlung zu erkennen.
Model Card: Kurzdokument zu vorgesehener Nutzung, Evaluationsverfahren und Leistung eines Modells über Gruppen.
Globale vs. lokale Erklärung: Global beschreibt das Gesamtverhalten; lokal erklärt eine einzelne Entscheidung.
Automatisierungsbias: Übermäßiges Vertrauen in automatisierte Ausgaben; in Art. 14 der KI-Verordnung als Aufmerksamkeitspunkt der Aufsicht genannt.

Quellen

Vollständige Karte für Mitglieder. Was die vollständige Karte ergänzt: den vollständigen Entscheidungsrahmen · den Vergleich SAP · Snowflake · Databricks · Fabric · die häufigen Fallstricke und ihre Behebung · die Kurzreferenz · die Architekturschemata · die Codeblöcke · die zitierfähigen Kennzahlen.

In der App öffnen →