KI-Halluzination bezeichnet das Phänomen, bei dem ein großes Sprachmodell (LLM) oder KI-System Informationen erzeugt, die sachlich falsch, erfunden oder unsinnig sind, sie dabei jedoch mit derselben Überzeugung präsentiert wie zutreffende Informationen. Der Begriff entlehnt sich der Psychologie und beschreibt Ausgaben, bei denen die KI Inhalte „wahrnimmt", die nicht in der Realität verankert sind, also faktisch Dinge erfindet.
Halluzinationen sind eine inhärente Grenze der heutigen Architekturen generativer KI. LLMs sagen das statistisch wahrscheinlichste nächste Token auf Grundlage der Trainingsdaten voraus, ohne einen gesonderten Mechanismus zur Überprüfung der sachlichen Richtigkeit. Modelle können daher plausibel klingende, aber vollständig erfundene Zitate, Statistiken, Präzedenzfälle, medizinische Informationen oder historische Ereignisse erzeugen.
Zu den gängigen Halluzinationsrisiken in Unternehmen gehören KI-generierte Verträge mit erfundenen Rechtsklauseln, medizinische Dokumentation mit falschen Medikamentendosierungen, Finanzberichte, die nicht existierende Daten zitieren, Kundenservice-Antworten mit falschen Richtlinieninformationen sowie Code, der auf Funktionen oder APIs verweist, die nicht existieren (sogenannte „Ghost Packages" oder halluzinierte Abhängigkeiten, die von Angreifern ausgenutzt werden können).
Forschungen von IBM legen nahe, dass KI-Halluzinationen in unbeschränkten Umgebungen bis zu 20 % der LLM-Antworten betreffen, wenngleich Unternehmensimplementierungen mit Retrieval-Augmented Generation (RAG) und strukturiertem Prompting diese Rate erheblich senken können.
Organisationen, die das Risiko von KI-Halluzinationen steuern, sollten Folgendes umsetzen: Workflows zur menschlichen Prüfung von KI-generierten Inhalten in folgenschweren Kontexten (Recht, Medizin, Finanzen); RAG-Architekturen, die KI-Ausgaben in verifizierten Dokumentbeständen verankern; Validierungspipelines für Ausgaben, die KI-Behauptungen mit verlässlichen Quellen abgleichen; Mitarbeiterschulungen zu Halluzinationsrisiken; sowie klare Richtlinien dazu, wann KI-generierte Inhalte vor der Nutzung eine menschliche Überprüfung erfordern.