90 Tage Risikoerkennung für generative KI:Jetzt starten
Demo buchen
Kostenlose Vorlage

Playbook zurKI-Vorfallreaktion

Ein vollständiger Leitfaden zum Erkennen, Klassifizieren, Eindämmen und Beheben von KI-Sicherheitsvorfällen. Deckt Datenabfluss, Prompt Injection, die Kompromittierung von KI-Agenten und mehr ab.

0 Phasen
Reaktionsrahmen
0 Stufen
Schweregradklassifizierung
0
KI-spezifische Szenarien
0+
Checklistenpunkte

Was ist ein KI-Sicherheitsvorfall?

Ein KI-Sicherheitsvorfall ist jedes Ereignis, bei dem KI-Tools, -Modelle oder -Agenten an einer Datenpanne, einem Richtlinienverstoß oder einer Sicherheitskompromittierung beteiligt sind, sei es durch einen vorsätzlichen Angriff, einen versehentlichen Missbrauch oder ein Systemversagen.

Anders als herkömmliche Sicherheitsvorfälle bringen KI-Vorfälle einzigartige Dimensionen mit sich: Der Angreifer kann ein Mitarbeiter ohne böswillige Absicht sein; der Angriffsvektor kann ein Prompt in natürlicher Sprache sein; die Auswirkung kann eine Vergiftung der Trainingsdaten oder eine Modellmanipulation umfassen, die schwer zu erkennen und rückgängig zu machen ist.

Dieses Playbook behandelt vier primäre KI-Vorfalltypen. Jeder erfordert einen Reaktionsprozess, der über die herkömmliche Vorfallreaktion hinausgeht, um den KI-spezifischen Bedarf an Beweissicherung, Eindämmung und Behebung abzudecken.

Datenabfluss

Sensible Daten (PII, Finanzunterlagen, geistiges Eigentum, Anmeldedaten), die ohne Genehmigung an ein KI-Tool oder -Modell übermittelt werden.

DLP-Alarm bei Upload oder Einfügen in ein KI-Tool
Nutzermeldung über eine versehentliche Datenübermittlung
Anomaler API-Verkehr zu einem KI-Dienst
Audit-Log des KI-Tools zeigt sensiblen Inhalt im Prompt

Prompt Injection

Schädliche Anweisungen, die in Nutzereingaben oder abgerufenen Inhalten eingebettet sind und ein KI-System zu unsicherem Verhalten manipulieren.

Die KI-Ausgabe enthält Anweisungen, Richtlinien zu ignorieren
Der KI-Bot legt seinen System-Prompt oder interne Daten offen
Unerwartete Tool-Aufrufe oder Aktionen des KI-Agenten
Von Nutzern gemeldete KI, die sich entgegen den Vorgaben verhält

Nicht autorisierte Aktion eines KI-Agenten

Ein autonomer KI-Agent führt Aktionen außerhalb seines genehmigten Bereichs aus, greift auf Systeme zu, versendet Mitteilungen oder verändert Daten.

Unerwartete API-Aufrufe mit den Anmeldedaten des KI-Agenten
Von der KI ohne Genehmigung gesendete E-Mails oder Nachrichten
Datenbankabfragen oder -schreibvorgänge, die nicht in der Agentenspezifikation stehen
Zugriff auf Systeme außerhalb der Berechtigungsgrenze des Agenten

Kompromittierung / Manipulation des Modells

Ein feinabgestimmtes oder gehostetes KI-Modell erzeugt in großem Umfang systematisch schädliche, verzerrte oder adversariell manipulierte Ausgaben.

Systematische Ausgabeanomalien über alle Nutzeranfragen hinweg
Das Modell erzeugt Ausgaben, die nicht mit dem Training übereinstimmen
Nutzerbeschwerden über schädliche oder verzerrte Antworten
Offenlegung einer Modellschwachstelle durch einen Sicherheitsforscher

Schritt 1: Den Vorfall klassifizieren

Weisen Sie sofort bei der Erkennung einen Schweregrad zu. Er bestimmt die Eskalation, den Reaktionszeitrahmen und die Meldepflichten.

CriticalP1, KritischReaktion: Sofort, 15 Min.

Beispiele: Großflächige PII-Exfiltration, KI-Agent mit Systemzugriff, kundenseitige Prompt Injection in der Produktion

Eskalation: CISO + CEO + Rechtsabteilung innerhalb einer Stunde benachrichtigt

HighP2, HochReaktion: 2 Stunden

Beispiele: Vertrauliches geistiges Eigentum an eine externe KI übermittelt, Prompt Injection mit begrenztem Datenzugriff, nicht autorisierte KI-Agenten-Aktion ohne Datenpanne

Eskalation: Sicherheitsmanager + CISO benachrichtigt

MediumP3, MittelReaktion: 24 Stunden

Beispiele: Nutzung eines Tools für Shadow AI mit internen Daten, fehlgeschlagener Prompt-Injection-Versuch, Richtlinienverstoß ohne Datenexposition

Eskalation: Leiter des Sicherheitsteams benachrichtigt

LowP4, NiedrigReaktion: 5 Werktage

Beispiele: Nutzung eines nicht genehmigten KI-Tools mit öffentlichen Daten, möglicher Phishing-Versuch mit KI-generierten Inhalten

Eskalation: Protokolliert und einem Analysten zugewiesen

Schritt 2: Eindämmung

Geschwindigkeit ist entscheidend. Das Ziel ist es, die Blutung zu stoppen und eine weitere Datenexposition oder Agentenaktionen zu verhindern, bevor das volle Ausmaß des Vorfalls bekannt ist.

01

Das KI-Tool oder den KI-Agenten isolieren

  • API-Schlüssel und Zugriffstoken für den betroffenen KI-Dienst widerrufen
  • Das KI-Tool oder den KI-Agenten auf Netzwerk- oder Anwendungsebene deaktivieren
  • Das Nutzerkonto sperren, sofern menschlich ausgelöst
  • Bei KI-Agenten: alle laufenden Prozesse anhalten und Berechtigungen widerrufen
02

Beweise sichern

  • Prompt-/Antwortprotokolle aus dem KI-Dienst exportieren (nach Möglichkeit vor dem Widerruf)
  • Screenshots oder Aufzeichnungen der Vorfallindikatoren erstellen
  • Netzwerkverkehrsprotokolle sichern, die den Datenabfluss zeigen
  • Zeitstempel und betroffene Nutzerkonten dokumentieren
  • Protokolle NICHT ändern oder löschen, als potenzielle rechtliche Beweise behandeln
03

Datenexposition bewerten und begrenzen

  • Ermitteln, welche Daten übermittelt oder abgerufen wurden
  • Die Sensibilität der Daten klassifizieren (PII, finanziell, vertrauliches geistiges Eigentum, Anmeldedaten)
  • Feststellen, ob die Daten vom externen KI-Anbieter aufbewahrt wurden
  • Die Datenaufbewahrungsrichtlinie und Löschoptionen des KI-Anbieters prüfen
  • Bewerten, ob eine nachgelagerte Exfiltration aus dem KI-Dienst möglich ist
04

Wichtige Stakeholder benachrichtigen

  • Den Leiter des Sicherheitsteams und den CISO je nach Schweregrad alarmieren
  • Rechts- und Compliance-Abteilung benachrichtigen, wenn personenbezogene Daten betroffen sind
  • Den Leiter der betroffenen Geschäftseinheit unterrichten
  • Den betroffenen Nutzer NICHT benachrichtigen, bis der Untersuchungsumfang klar ist (mögliche Insider-Bedrohung)

Schritt 3: Untersuchungs-Checkliste

Arbeiten Sie jede Kategorie methodisch durch. Dokumentieren Sie Ihre Erkenntnisse in einem sicheren Vorfalldatensatz. Alle Beweise müssen in ihrer ursprünglichen Form gesichert werden.

Zeitachse und Umfang

  • Wann ist der Vorfall erstmals aufgetreten? Wann wurde er erkannt?
  • Wie viele Nutzer / Sitzungen sind betroffen?
  • Welche KI-Tools, -Modelle oder -Agenten sind beteiligt?
  • Welcher Zeitraum muss bei der Protokollprüfung abgedeckt werden?

Datenauswirkung

  • Welche Datentypen waren betroffen? (PII, finanziell, Anmeldedaten, geistiges Eigentum)
  • Wie viele Datensätze oder Personen sind betroffen?
  • Wurden die Daten von einem externen KI-Anbieter gespeichert oder verarbeitet?
  • Sind die Daten irgendwo nachgelagert aufgetaucht (Dark Web, Wettbewerber)?
  • Löst die Exposition eine regulatorische Meldepflicht aus?

Grundursache

  • Was war der ursprüngliche Angriffsvektor oder Fehlerpunkt?
  • War dies eine Richtlinienlücke, ein Versagen einer technischen Kontrolle oder ein Nutzerfehler?
  • War das KI-Tool genehmigt oder handelte es sich um ein Tool für Shadow AI?
  • Bei Prompt Injection: Wie lauteten Nutzlast und Vektor der Injektion?
  • Bei KI-Agenten: Welche Berechtigungs- oder Bereichsgrenze wurde überschritten?

Beweissammlung

  • Prompt- und Antwortprotokolle aus dem KI-Tool/der API
  • Nutzeraktivitätsprotokolle (SSO, Browser, Endpunkt)
  • Netzwerk-Abflussprotokolle für den relevanten Zeitraum
  • Aktionsprotokolle des KI-Agenten (Tool-Aufrufe, API-Aufrufe, gesendete Nachrichten)
  • Ergebnisse des Datenklassifizierungsscans der übermittelten Inhalte
  • Bestätigung des Anbieters über die Aufbewahrung / Löschung der Daten

Schritt 4: Kommunikationsvorlagen

Verwenden Sie diese Vorlagen als Ausgangspunkte. Passen Sie sie an Ihre Organisation, den Vorfalltyp und die Zielgruppe an. Alle externen Mitteilungen sollten vor dem Versand von der Rechtsabteilung geprüft werden.

Benachrichtigung interner Stakeholder

Bei P1/P2 innerhalb einer Stunde verwenden

Betreff: [SICHERHEITSVORFALL] KI-Vorfall, [Schweregrad], [Datum]


Liebes Team,


Wir haben einen KI-Sicherheitsvorfall festgestellt, der sofortige Aufmerksamkeit erfordert. Bitte behandeln Sie diese Mitteilung als vertraulich.


Vorfallzusammenfassung: [Kurzbeschreibung, was geschehen ist, welches KI-Tool/-System betroffen ist]

Schweregrad: [P1/P2/P3/P4]

Zeitpunkt der Erkennung: [Datum und Uhrzeit]

Betroffene Daten: [Datentyp, geschätztes Volumen, Klassifizierungsstufe]

Aktueller Status: [Eindämmung läuft / Eingedämmt / In Untersuchung]


Sofort erforderliche Maßnahmen:

- [Maßnahme 1, die von diesem Team erforderlich ist]

- [Maßnahme 2]


Vorfallverantwortlicher: [Name]

Nächstes Update: [Uhrzeit]

Vorfall-Bridge/-Kanal: [Link oder Nummer]


Leiten Sie diese Nachricht nicht weiter und besprechen Sie sie nicht außerhalb dieses Verteilers.

Externe / Kundenbenachrichtigung

Rechtsprüfung vor dem Versand erforderlich

Betreff: Wichtiger Hinweis zu Ihren Informationen, [Firmenname]


Sehr geehrte/r [Name des Kunden/der Person],


Wir schreiben Ihnen, um Sie über einen Sicherheitsvorfall zu informieren, der möglicherweise Ihre personenbezogenen Daten betroffen hat.


Was geschehen ist: [Beschreibung in einfacher Sprache. Vermeiden Sie Fachjargon. Nennen Sie keine bestimmten KI-Tools, sofern nicht gesetzlich vorgeschrieben.]


Welche Informationen betroffen waren: [Listen Sie konkrete Datentypen auf: Name, E-Mail, Telefon usw.]


Was wir getan haben: [Bereits ergriffene Schritte zur Eindämmung und Bewältigung des Vorfalls]


Was Sie tun können:

- [Empfohlene Maßnahme 1, z. B. Ihre Konten überwachen]

- [Empfohlene Maßnahme 2, z. B. Ihr Passwort ändern]


Für weitere Informationen: Wenden Sie sich an unser Datenschutzteam unter [E-Mail] oder [Telefon].


Wir entschuldigen uns aufrichtig für diesen Vorfall und jegliche damit verbundene Beunruhigung.


[Unterschrift, Name, Funktion, Unternehmen]

Zeitvorgaben für regulatorische Meldungen

NDB in Australien: OAIC und betroffene Personen so bald wie möglich benachrichtigen (in der Regel innerhalb von 30 Tagen nach Kenntnisnahme). DSGVO in der EU: Aufsichtsbehörde innerhalb von 72 Stunden benachrichtigen. USA: bundesstaatlich unterschiedliche Fristen gelten. Ziehen Sie immer die Rechtsabteilung hinzu, bevor Sie regulatorische Meldungen versenden.

Schritt 5: Behebung

Beheben Sie die Grundursache, nicht nur das Symptom. Die Behebung muss die Kontrolllücke schließen, die den Vorfall ermöglicht hat.

01

Die Schwachstelle beheben

Beheben Sie die technische Lücke, aktualisieren Sie die Richtlinien für KI-Tools, korrigieren Sie den Prompt-Injection-Filter, schränken Sie die Agentenberechtigungen ein.

02

DLP- und Überwachungsregeln aktualisieren

Setzen Sie neue Erkennungsregeln ein, die auf den beobachteten Angriffsvektor abzielen. Testen Sie die Regeln mit synthetischen Daten, bevor Sie sie in der Produktion aktivieren.

03

Betroffenes Personal nachschulen

Gezielte Nachschulung zur Datenklassifizierung und KI-Nutzungsrichtlinie. Dokumentieren Sie den Abschluss im Vorfalldatensatz.

04

Betrieb wiederherstellen

Reaktivieren Sie KI-Tools oder -Agenten mit verstärkten Kontrollen. Legen Sie ein verstärktes Überwachungsfenster fest (30 bis 90 Tage).

05

Datenlöschung beim Anbieter anfordern

Reichen Sie bei externen KI-Diensten Anträge auf Datenlöschung ein. Holen Sie nach Möglichkeit eine schriftliche Bestätigung ein.

Schritt 6: Nachbereitung des Vorfalls

Führen Sie sie innerhalb von 5 Werktagen nach der Behebung durch. Dokumentieren Sie alle Erkenntnisse in einem Nachbereitungsbericht (PIR).

PIR-Agenda

  • Rekonstruktion der Zeitachse, vom ersten Ereignis über die Erkennung bis zur Behebung
  • Grundursachenanalyse, warum ist dieser Vorfall aufgetreten?
  • Analyse der Erkennungslücke, warum wurde er nicht früher entdeckt?
  • Wirksamkeit der Reaktion, hat das Playbook funktioniert? Was hat uns ausgebremst?
  • Auswirkungsbewertung, endgültige Zahl der Datenexposition, regulatorische Pflichten
  • Verbesserungen der Kontrollen, was hätte dies verhindert oder begrenzt?
  • Aktualisierungen des Playbooks, überarbeiten Sie dieses Dokument mit den gewonnenen Erkenntnissen
  • Aktionspunkte, Verantwortlicher + Fälligkeitsdatum für jede Verbesserung

Tipp: Speichern Sie PIRs in einem durchsuchbaren Format. Mit der Zeit wird Ihre PIR-Bibliothek zur wertvollsten Grundlage für die Verbesserung Ihres KI-Sicherheitsprogramms, da sie Muster über Vorfälle hinweg aufzeigt, die einzelne Überprüfungen übersehen.

KI-spezifische Vorfallszenarien

Diese drei Szenarien decken die häufigsten KI-Sicherheitsvorfälle in Unternehmensumgebungen ab. Jedes enthält Erkennungssignale, Eindämmungsmaßnahmen und Behebungsschritte.

Szenario

Ein Mitarbeiter des Kundensupports fügt eine Tabelle mit 500 Kundennamen, E-Mail-Adressen und Telefonnummern in ChatGPT ein, um eine Massen-E-Mail-Kampagne zu entwerfen. Das Tool steht nicht auf der Liste zugelassener Tools, und die Daten sind als vertraulich eingestuft.

Erkennungssignale

  • DLP-Alarm: Massen-PII beim Einfügen aus der Zwischenablage in ein externes KI-Tool erkannt
  • Aona-Alarm für Shadow AI: ein nicht zugelassenes Tool greift auf Unternehmensdaten zu
  • Erkennung eines Uploads sensibler Inhalte durch die Browser-Erweiterung

Eindämmungsmaßnahmen

  • Den Zugriff des Nutzers auf ChatGPT per Web-Proxy- / Firewall-Regel blockieren
  • Datenlöschung bei OpenAI über dessen Datenschutz-Antragsformular anfordern
  • Den Zugriff des Nutzers bis zur Untersuchung widerrufen
  • Die NDB- / DSGVO-Meldepflicht mit der Rechtsabteilung bewerten

Behebung

  • Den betroffenen Mitarbeiter zur Datenklassifizierungsrichtlinie nachschulen
  • Eine DLP-Regel aktivieren, um das Einfügen von PII in nicht zugelassene KI-Tools zu blockieren
  • Eine zugelassene Alternative bereitstellen (z. B. ChatGPT Enterprise mit DLP-Kontrollen)
  • In den monatlichen Risikobericht aufnehmen und ähnliche Vorfälle der letzten 90 Tage prüfen

Regulatorischer Hinweis

Im Rahmen des australischen Notifiable-Data-Breaches-Schemas kann dies meldepflichtig sein, wenn ein schwerwiegender Schaden wahrscheinlich ist. Ziehen Sie die Rechtsabteilung innerhalb von 30 Tagen nach Kenntnisnahme hinzu.

FAQ

Häufig gestellte Fragen

Ein KI-Sicherheitsvorfall ist jedes Ereignis, bei dem KI-Tools oder -Systeme an einer Datenpanne, einem Richtlinienverstoß oder einer Sicherheitskompromittierung beteiligt sind. Dazu gehören Mitarbeitende, die sensible Daten an KI-Tools wie ChatGPT übermitteln, Prompt-Injection-Angriffe auf KI-Bots, KI-Agenten, die nicht autorisierte Aktionen ausführen, oder eine Modellmanipulation, die zu schädlichen Ausgaben führt.
Erste Schritte

Stoppen Sie KI-Vorfälle, bevor sie geschehen

Die beste Vorfallreaktion ist die, die Sie nie ausführen müssen. Aona AI erkennt die Nutzung von Shadow AI, setzt Datenschutzrichtlinien durch und bietet eine Echtzeitüberwachung über jedes KI-Tool in Ihrem Unternehmen hinweg. Einsatzbereit in unter 5 Minuten. Keine Agenten erforderlich.