Erklärbare KI (XAI) bezeichnet Methoden, Techniken und Werkzeuge, die die Ausgaben von KI-Systemen für menschliche Nutzer verständlich machen. Da KI-Modelle, insbesondere Deep Learning und große Sprachmodelle, immer komplexer werden, werden ihre Entscheidungsprozesse zu undurchsichtigen „Black Boxes", was Herausforderungen für Vertrauen, Rechenschaftspflicht und regulatorische Compliance schafft.
XAI-Ansätze fallen in zwei Kategorien: intrinsisch interpretierbare Modelle (einfachere Modelle wie Entscheidungsbäume oder lineare Regression, die von Natur aus verständlich sind) und Post-hoc-Erklärungsmethoden (Techniken, die auf komplexe Modelle angewendet werden, um ihre Entscheidungen im Nachhinein zu erklären).
Zu den gängigen XAI-Techniken gehören: LIME (Local Interpretable Model-agnostic Explanations), das einzelne Vorhersagen erklärt, indem es das Modell lokal approximiert; SHAP (SHapley Additive exPlanations), das Spieltheorie nutzt, um die Bedeutung von Merkmalen zuzuordnen; Attention-Visualisierung, die zeigt, auf welche Eingabeelemente sich das Modell konzentriert hat; kontrafaktische Erklärungen, die beschreiben, welche Eingabeänderungen das Ergebnis ändern würden; konzeptbasierte Erklärungen, die das Modellverhalten mit für Menschen verständlichen Konzepten in Beziehung setzen; und vom Modell selbst generierte Erklärungen in natürlicher Sprache.
Zu den unternehmensseitigen Anwendungen von XAI gehören: regulatorische Compliance (Recht auf Erläuterung nach DSGVO, Transparenzanforderungen des EU AI Act), Risikomanagement (verstehen, warum KI-Systeme bestimmte Entscheidungen treffen), Verzerrungserkennung (identifizieren, welche Merkmale potenziell diskriminierende Ergebnisse bewirken), Debugging und Verbesserung (Modellfehler verstehen, um die Leistung zu verbessern) und Vertrauen der Stakeholder (Vertrauen in KI-Systeme bei Nutzern, Kunden und Aufsichtsbehörden aufbauen).