KI-Bedrohungsmodellierung ist die systematische Praxis, KI-Systeme zu analysieren, um potenzielle Angriffsvektoren, Schwachstellen und Bedrohungen zu identifizieren, bevor sie ausgenutzt werden können. Sie erweitert herkömmliche Methoden der Bedrohungsmodellierung wie STRIDE und PASTA, um KI-spezifische Risiken wie adversariale Angriffe, Datenvergiftung, Modelldiebstahl und Prompt Injection zu adressieren.
Der Prozess der KI-Bedrohungsmodellierung umfasst in der Regel: die Festlegung des Umfangs des KI-Systems (Modelle, Datenpipelines, APIs, Integrationen), die Identifizierung von Assets (Trainingsdaten, Modellgewichte, Nutzerdaten, geistiges Eigentum), die Abbildung von Datenflüssen (wie Informationen durch das KI-System wandern), die Identifizierung von Bedrohungen anhand KI-spezifischer Taxonomien (OWASP Top 10 für LLMs, MITRE ATLAS), die Bewertung von Wahrscheinlichkeit und Auswirkung jeder Bedrohung sowie die Priorisierung von Strategien zur Minderung.
Zu den KI-spezifischen Bedrohungskategorien gehören: Angriffe mit adversarialen Eingaben (gezielt gestaltete Eingaben, die Fehlklassifizierungen verursachen), Modellextraktion (Diebstahl der Modellfunktionalität durch API-Abfragen), Vergiftung von Trainingsdaten (Verfälschung von Daten zur Manipulation des Modellverhaltens), Membership Inference (feststellen, ob bestimmte Daten im Training verwendet wurden), Prompt Injection und Jailbreaking, Kompromittierung der Lieferkette von Modellabhängigkeiten sowie Datenschutzangriffe, die sensible Trainingsdaten extrahieren.
Organisationen sollten eine KI-Bedrohungsmodellierung vor der Bereitstellung jedes KI-Systems, bei größeren Updates und in regelmäßigen Abständen durchführen, während sich die Bedrohungslandschaft weiterentwickelt. Die Ergebnisse sollten in die Prozesse des KI-Risikomanagements einfließen und die Umsetzung von Sicherheitskontrollen leiten.