KI-Sicherheit umfasst die Praktiken, Technologien und Rahmenwerke, die KI-Systeme vor Angriffen, Missbrauch und unbeabsichtigtem Verhalten schützen und zugleich regeln, wie KI-Werkzeuge innerhalb von Organisationen eingesetzt werden. Sie hat zwei unterschiedliche Dimensionen: die Absicherung der KI-Systeme selbst (Schutz von Modellen vor adversarialen Angriffen, Datenvergiftung und Diebstahl) und die Absicherung des Unternehmens gegen KI-bezogene Risiken (Steuerung von Shadow AI, Verhinderung von Datenabflüssen an KI-Werkzeuge und Steuerung des Verhaltens von KI-Agenten).
Zu den Bedrohungen für KI-Systeme zählen adversariale Machine-Learning-Angriffe (Eingaben, die darauf ausgelegt sind, Modelle zu täuschen), Modellinversion (Extraktion von Trainingsdaten aus den Ausgaben eines Modells), Modelldiebstahl (Nachbildung proprietärer Modelle durch wiederholtes Abfragen), Datenvergiftung (Verfälschung von Trainingsdaten zur Verschlechterung der Modellleistung oder zum Einschleusen von Hintertüren) sowie Prompt Injection (Manipulation des Modellverhaltens durch bösartige Eingaben).
Die KI-Sicherheitsrisiken in Unternehmen drehen sich um die Verbreitung von KI-Werkzeugen, die Mitarbeitende ohne Aufsicht nutzen. Laut Gartner (2025) nutzen 68 % der Mitarbeitenden nicht genehmigte KI-Werkzeuge, wodurch Organisationen Datenabflüssen, Compliance-Verstößen und Sicherheitslücken in KI-Plattformen von Drittanbietern ausgesetzt werden. Der IBM Cost of Data Breach Report 2024 stellte fest, dass KI-bezogene Vorfälle Organisationen durchschnittlich 4,88 Millionen US-Dollar pro Datenschutzverletzung kosten.
Zu den zentralen KI-Sicherheitskontrollen gehören: Erkennung und Inventarisierung von KI-Werkzeugen (Wissen, welche KI im gesamten Unternehmen eingesetzt wird); Richtlinien zur akzeptablen Nutzung mit Durchsetzungsmechanismen; Data Loss Prevention (DLP) für KI-Interaktionen; Governance-Rahmenwerke für KI-Agenten bei autonomen Systemen; kontinuierliche Überwachung der KI-Nutzung auf Richtlinienverstöße; regelmäßiges KI-Red-Teaming zur Identifizierung von Schwachstellen; sowie Incident-Response-Playbooks, die speziell für KI-Sicherheitsereignisse konzipiert sind.
Regulatorische Rahmenwerke nehmen zunehmend Anforderungen an die KI-Sicherheit auf. Der EU AI Act schreibt Sicherheitstests für KI-Systeme mit hohem Risiko vor, das NIST AI RMF berücksichtigt Sicherheit als zentralen Aspekt, und Branchenaufsichtsbehörden wie APRA (Australien), FCA (Großbritannien) und OCC (USA) veröffentlichen Leitlinien zum KI-Risikomanagement für die Finanzdienstleistungsbranche.