Adversariales maschinelles Lernen ist die Erforschung von Schwachstellen in Machine-Learning-Systemen sowie die Entwicklung von Angriffen und Abwehrmaßnahmen im Zusammenhang mit diesen Schwachstellen. Es untersucht, wie KI-Modelle von Angreifern getäuscht, manipuliert oder ausgenutzt werden können, und entwickelt Techniken, um KI-Systeme robuster zu machen.
Zu den wichtigsten Angriffskategorien gehören: Umgehungsangriffe (Eingaben zur Inferenzzeit gestalten, die Fehlklassifizierungen verursachen, z. B. unmerkliches Rauschen zu Bildern hinzufügen, um Klassifikatoren zu täuschen), Vergiftungsangriffe (Trainingsdaten verfälschen, um das Modellverhalten während des Lernens zu kompromittieren), Modellextraktionsangriffe (API-Abfragen verwenden, um die Funktionalität eines Modells durch Training eines Ersatzmodells zu stehlen), Modellinversionsangriffe (Trainingsdaten aus Modellausgaben rekonstruieren) und Membership-Inference-Angriffe (feststellen, ob bestimmte Daten im Trainingssatz enthalten waren).
Die Auswirkungen in der Praxis sind erheblich: Vision-Systeme autonomer Fahrzeuge können durch adversariale Patches getäuscht werden, Spam- und Malware-Detektoren können mit gezielt gestalteten Eingaben umgangen werden, Gesichtserkennungssysteme können überlistet oder gefälscht werden, die KI-Inhaltsmoderation kann umgangen werden, und KI-Modelle im Finanzbereich können zu betrügerischen Zwecken manipuliert werden.
Zu den Abwehrstrategien gehören: adversariales Training (Modelle auf adversarialen Beispielen trainieren, um Robustheit aufzubauen), Eingabevorverarbeitung (adversariale Eingaben erkennen und filtern, bevor sie das Modell erreichen), Modell-Ensembles (mehrere Modelle nutzen, um die Anfälligkeit für einen einzelnen Angriff zu verringern), zertifizierte Robustheit (mathematische Garantien für das Modellverhalten innerhalb definierter Eingabebereiche) und Laufzeitüberwachung (anomale Eingaben erkennen, die auf adversariale Aktivität hindeuten können).