Verzerrungen (Bias) erkennen und faire KI sichern
KI-Systeme können unbeabsichtigt Menschen benachteiligen. Diese Lektion zeigt an realen Fällen, wie solche Verzerrungen entstehen, wie Sie sie in Ihrem Fachbereich erkennen und was Sie tun, wenn Ihnen etwas auffällt.
Nach dieser Lektion können Sie …
- erklären, wie Bias in KI entsteht,
- Warnsignale in Ihrem Arbeitsbereich erkennen,
- die Bias-Checkliste anwenden,
- problematische Muster richtig dokumentieren und melden.
Die Bewerbungs-KI, die Frauen abwertete
Amazon baut ein KI-Werkzeug, das Bewerbungen automatisch bewerten soll — von einem bis fünf Sternen, wie Produkte im Shop.
Dem Team fällt auf: Das System benachteiligt systematisch Frauen.
Amazon verwirft das Projekt.
Das System hatte gelernt, Lebensläufe abzuwerten, in denen das Wort „women's“ vorkam oder bestimmte Frauen-Colleges genannt wurden. Der Grund lag nicht in bösem Willen, sondern in den Daten: Trainiert mit zehn Jahren überwiegend männlicher Bewerbungen, schloss die KI, männliche Kandidaten seien die besseren.
Wie konnte das passieren — und wie erkennen Sie so etwas?
Wie Bias entsteht
Warum zieht eine KI solche Schlüsse? Die kurze Präsentation zeigt den Weg von den Beispieldaten zur Verzerrung.
Zum Nachlesen: was die Präsentation sagt
KI lernt aus Beispieldaten. Sind diese Daten verzerrt, übernimmt und verstärkt das System die Verzerrung. Bias ist also meist ein Datenproblem, kein Programmierfehler: Die KI bildet ab, was in den Trainingsdaten steckt — auch die unfairen Muster der Vergangenheit.
Offensichtlich oder subtil
Manchmal offensichtlich
Google Gemini · Februar 2024Als Googles KI-Assistent Gemini im Februar 2024 mit seiner Bildfunktion auf die Anweisung, historische Figuren darzustellen, ethnisch unpassende Bilder erzeugte — etwa vielfältig besetzte Darstellungen dort, wo sie historisch nicht hingehörten —, war der Fehler für jeden sichtbar. Google pausierte vorübergehend die Bilderzeugung von Personen.
Meist aber subtil
gerade deshalb gefährlicherMeist sind Verzerrungen subtiler und gerade deshalb gefährlicher: Sie schleichen sich unbemerkt in Entscheidungen ein, bis jemand mit Fachblick genauer hinsieht.
Warnsignale in Ihrem Fachbereich
Sie brauchen kein technisches Wissen, um Bias zu bemerken — Ihr Fachwissen genügt. Typische Muster:
Personalwesen
Bewerber:innen mit bestimmten Merkmalen (Geschlecht, Herkunft, Lücken im Lebenslauf) werden systematisch schlechter bewertet.
Finanzbereich
Anträge aus bestimmten Wohngegenden werden häufiger abgelehnt; ältere Kund:innen anders eingestuft.
Kundenservice
Anfragen bestimmter Gruppen werden anders priorisiert oder kategorisiert.
Ihre Einschätzung: Warnsignal oder nicht?
Vier ausgedachte Beobachtungen aus dem Arbeitsalltag.
Das Bewerbungstool stuft Lebensläufe mit einer Lücke durchweg niedriger ein — auch wenn die Qualifikation gleich ist.
Das System lehnt einen Antrag ab, weil Pflichtangaben fehlen.
Anträge aus einem bestimmten Stadtteil werden deutlich häufiger abgelehnt als vergleichbare Anträge aus anderen Stadtteilen.
Anfragen von Kund:innen mit ausländisch klingendem Namen landen regelmäßig in der niedrigsten Priorität.
Die Bias-Checkliste
Wenn Ihnen etwas auffällt, prüfen Sie mit fünf Fragen. Die Präsentation stellt sie vor.
Zum Nachlesen: die fünf Fragen
- 1Muster beobachten: Gibt es Gruppen, die konsistent anders behandelt werden?
- 2Vergleiche anstellen: Würde die KI zwei identische Fälle, die sich nur in einem geschützten Merkmal (Geschlecht, Alter, Herkunft) unterscheiden, gleich behandeln?
- 3Ausnahmen prüfen: Wie geht das System mit Fällen um, die vom „Standard“ abweichen?
- 4„Was-wäre-wenn“ fragen: Wie fiele die Entscheidung bei leicht verändertem Fall aus?
- 5Intuition ernst nehmen: Kommt Ihnen etwas komisch vor, notieren Sie es — auch ohne genauen Grund.
Vom Erkennen zum Handeln
Bemerken ist der erste Schritt. Dann gilt:
Dokumentieren statt vermuten
Halten Sie konkrete Beispiele fest. Belastbare Beobachtungen wiegen mehr als vage Eindrücke.
„Bei 15 von 20 Fällen empfahl das System X, obwohl Y sinnvoller war.“
Melden
Geben Sie systematische Auffälligkeiten an die zuständige Stelle weiter — KI-Verantwortliche, Datenschutz oder Compliance.
Übersteuern, wenn nötig
Wo Sie Ermessensspielraum haben, korrigieren Sie eine offensichtlich unfaire Empfehlung und begründen Sie das schriftlich. Die letzte Entscheidung liegt beim Menschen (siehe Lektion 4).
Vergleichen Sie: Welche Notiz trägt eine Meldung?
Randnotiz für Interessierte
Eine Erlaubnis, besondere Datenkategorien (etwa Herkunft oder Gesundheit) zu verarbeiten, um Bias aufzuspüren und zu korrigieren, enthielt die KI-Verordnung schon seit 2024 — in Artikel 10 Absatz 5, beschränkt auf Anbieter von Hochrisiko-KI. Seit dem Digital Omnibus (Juli 2026) regelt das ein neuer Artikel 4a, der die Erlaubnis auf Betreiber sowie andere KI-Systeme und -Modelle erweitert — auch dort nur ausnahmsweise, soweit unbedingt erforderlich, und unter strengen Schutzvorkehrungen. Der Gesetzgeber nimmt das Problem also ernst genug, dafür eine eigene Rechtsgrundlage zu schaffen und sie auszuweiten. Die Umsetzung ist Sache der KI-Verantwortlichen, nicht der einzelnen Beschäftigten.
Sie sind kein passiver Anwender, sondern ein Frühwarnsystem.
Diskriminierungsfreiheit ist keine technische Feinheit, sondern eine Grundrechtsfrage — und die KI-Verordnung stuft KI in Personalentscheidungen, bei der Kreditwürdigkeitsprüfung sowie bei Risikobewertung und Preisbildung in der Lebens- und Krankenversicherung gerade deshalb grundsätzlich als Hochrisiko ein.
Von Bias zu Ethik: verantwortungsvolle KI-Nutzung
Bias ist ein Beispiel für eine größere Frage — den ethischen Umgang mit KI. Vier Grundsätze leiten Sie dabei; sie liegen auch der KI-Verordnung zugrunde:
Fairness
niemanden aufgrund von Merkmalen wie Geschlecht, Herkunft oder Alter benachteiligen.
Transparenz
offenlegen, wenn KI mitwirkt, und erklären können, worauf eine Entscheidung beruht.
Menschliche Verantwortung
Entscheidung und Verantwortung bleiben beim Menschen — KI ist Werkzeug, nicht Instanz.
Nicht schaden
im Zweifel die Option wählen, die Betroffene schützt, nicht die bequemste.
Ordnen Sie zu: Welcher Grundsatz ist gemeint?
Vier ausgedachte Situationen.
Die KI empfiehlt eine Absage. Sie prüfen den Fall selbst und entscheiden dann.
Sie achten darauf, dass Bewerber:innen nicht wegen ihres Alters schlechter abschneiden.
Zwei Wege sind möglich. Sie wählen den, der Betroffene schützt, obwohl er mehr Aufwand macht.
Sie sagen einer Kundin, dass ihr Antrag von einer KI vorsortiert wurde, und erklären, worauf die Einschätzung beruht.
Diese Grundsätze sind kein Zusatz zum Recht, sondern sein Kern: Die Verordnung stuft KI in Personalentscheidungen, bei der Kreditwürdigkeitsprüfung sowie bei Risikobewertung und Preisbildung in der Lebens- und Krankenversicherung gerade deshalb grundsätzlich als Hochrisiko ein, weil hier Fairness und Menschenwürde auf dem Spiel stehen.
Das nehmen Sie mit
- Bias entsteht meist aus verzerrten Trainingsdaten; die KI verstärkt vorhandene Muster.
- Ethischer Umgang ruht auf vier Grundsätzen: Fairness, Transparenz, menschliche Verantwortung, Nicht-Schaden.
- Reale Fälle: Amazons Recruiting-KI (Benachteiligung von Frauen, 2014–2017, bekannt geworden 2018), Googles Gemini (historisch falsche Bilder, 2024).
- Warnsignale gibt es in Personal, Finanzen, Kundenservice — Ihr Fachwissen genügt zum Erkennen.
- Nutzen Sie die Bias-Checkliste; dokumentieren, melden und bei Bedarf übersteuern.
Sitzt das Wichtigste?
Der Wissenscheck ist freiwillig und nur für Sie gedacht. Ihre Antworten werden weder gespeichert noch bewertet, und niemand sonst bekommt sie zu sehen. Wenn Sie ein paar Minuten übrig haben, prüfen Sie hier, ob die Kernpunkte der Lektion angekommen sind.
Wissenschecksechs Fragen · wenige Minuten
Wählen Sie je Frage eine Antwort. Die Rückmeldung erklärt, was hinter jeder Option steckt.
Quellen
- Amazon-Recruiting-Tool (Bias gegen Frauen): Reuters/MIT Technology Review · CNBC
- Google Gemini, Bildgenerierung pausiert (Feb. 2024): CNBC · Google-Blog
- Einordnung Hochrisiko: KI-Verordnung, Art. 6 (mit Rückausnahme Abs. 3) und Anhang III (Nr. 4 Beschäftigung; Nr. 5 Buchst. b Kreditwürdigkeit, Buchst. c Lebens- und Krankenversicherung)
- Neuer Art. 4a (Bias-Erkennung mit besonderen Datenkategorien, Digital Omnibus): ITMR Legal · artificialintelligenceact.eu/article/4a (konsolidierte Fassung, abgerufen 2026-10-01) · Vorgänger: KI-Verordnung, Art. 10 Abs. 5 (Fassung 2024)
