KI-Verzerrung bezeichnet eine systematische und unfaire Diskriminierung in den Ergebnissen von KI-Systemen, die bestimmte Gruppen aufgrund von Merkmalen wie ethnischer Herkunft, Geschlecht, Alter oder sozioökonomischem Status benachteiligt. Verzerrungen können auf mehreren Stufen in KI-Systeme gelangen: durch verzerrte Trainingsdaten, fehlerhaftes Algorithmusdesign, eine verzerrte Merkmalsauswahl oder eine von Vorurteilen geprägte menschliche Aufsicht.
Zu den Arten der KI-Verzerrung gehören: historische Verzerrung (die Trainingsdaten spiegeln vergangene gesellschaftliche Verzerrungen wider), Repräsentationsverzerrung (die Unterrepräsentation bestimmter Gruppen in den Trainingsdaten), Messverzerrung (Proxy-Variablen, die mit geschützten Merkmalen korrelieren), Aggregationsverzerrung (Modelle, die Unterschiede zwischen Untergruppen nicht berücksichtigen), Bewertungsverzerrung (Testmetriken, die bestimmte Gruppen begünstigen) und Einsatzverzerrung (die Verwendung eines Modells in Kontexten, für die es nicht konzipiert wurde).
Zu den Beispielen aus der Praxis zählen KI-Einstellungstools, die die Lebensläufe von Frauen benachteiligten, Gesichtserkennungssysteme mit höheren Fehlerquoten bei dunkleren Hauttönen, Gesundheitsalgorithmen, die den Bedarf schwarzer Patientinnen und Patienten unterschätzten, sowie Kreditbewertungsmodelle, die anhand von Postleitzahlen diskriminierten.
Zu den Strategien zur Minderung gehören vielfältige und repräsentative Trainingsdaten, Werkzeuge zur Verzerrungsprüfung und Fairnessmetriken, regelmäßige Tests über demografische Gruppen hinweg, eine menschliche Aufsicht über KI-Entscheidungen, eine transparente Dokumentation der Grenzen der Modelle sowie die regulatorische Einhaltung von Antidiskriminierungsgesetzen.