What is prompt injection and why does it matter for enterprises?

Prompt injection is an attack where malicious content in a prompt causes an AI model to override its instructions, behave unexpectedly, or reveal information it should not. In an enterprise context, prompt injection matters because: employees may unknowingly include injected content in prompts (e.g. when asking an AI to summarise an email that contains injection instructions); attackers can craft documents designed to manipulate AI agents into leaking data or taking unintended actions; and AI systems that act autonomously (agents) are particularly vulnerable because injected instructions can redirect their entire task flow.

What data should never be included in an AI prompt?

The following data must never be included in any AI prompt, even with approved tools: personal identifiable information (PII) including names, addresses, National Insurance or Social Security numbers, dates of birth, and financial account numbers; credentials of any kind including API keys, passwords, and authentication tokens; confidential business information including unpublished financial data, M&A activity, and competitive strategy; client data subject to confidentiality agreements; and source code for production systems unless the AI tool is explicitly approved for code use and the code does not contain secrets. When in doubt, anonymise before prompting.

When does AI output require human review before use?

AI output always requires human review before use in the following contexts: any legal or compliance document, AI output must never be relied upon for legal advice, contract terms, or regulatory submissions without qualified review; any factual claim that will be published externally, AI models hallucinate and citations must be verified independently; any code that will be deployed in a production environment, AI-generated code must undergo security review for vulnerabilities; any customer-facing content in a regulated context, financial advice, medical information, or insurance recommendations; and any decision affecting an individual's employment, credit, or benefits.

How do I test a prompt for security vulnerabilities?

To test a prompt for security vulnerabilities: (1) attempt to override the system prompt by adding instructions at the end of the user input (e.g. 'Ignore previous instructions and...'); (2) test whether the model reveals its system prompt when asked directly or indirectly; (3) for RAG systems, include injection instructions in a test document that the model retrieves and check whether the injected instructions execute; (4) test for data exfiltration by adding instructions to include specific data in the response; and (5) test output filtering by attempting to elicit content that should be filtered. Document all vulnerabilities found and the prompt hardening measures applied.

Sichern Sie sich Ihre kostenlose 30-Tage-Testversion zur Risikoerkennung für generative KI:30 Tage Risikoerkennung für generative KI:Jetzt starten

Demo buchen

Kostenlose Vorlage · Sicherheitsrichtlinien

KI-Prompt-Engineering
Richtlinien

Sicherheitsorientierte Prompt-Engineering-Richtlinien für Unternehmensteams. Behandeln sichere Prompting-Praktiken, Vermeidung von Datenleckage, Sensibilisierung für Prompt Injection, Ausgabevalidierung und freigegebene Prompt-Vorlagen für gängige Geschäftsaufgaben.

Vorlage herunterladen Demo buchen

0 Abschnitte

Abdeckung der Sicherheitsrichtlinien

0 Muster

freigegebene Prompt-Vorlagen

OWASP LLM

Top-10-Injection-Risiken abgedeckt

Kostenlos

zur Nutzung und Anpassung

Warum unternehmensweite Prompt-Engineering-Richtlinien wichtig sind

Mitarbeitende nutzen täglich KI-Tools, um Geschäftsinformationen zu verarbeiten. Ohne Anleitung zum sicheren Prompting besteht das Standardverhalten darin, alle relevanten Daten in den Prompt einzufügen, einschließlich PII, vertraulicher Kundendaten und Anmeldedaten.

Nr. 1

Prompt Injection ist das größte Sicherheitsrisiko bei LLMs

Die LLM Top 10 von OWASP führen Prompt Injection als primäres Sicherheitsrisiko für KI-Systeme in Unternehmen auf. Ohne Schulung können Mitarbeitende sie nicht erkennen.

Daten

PII gelangen ohne Richtlinie regelmäßig in KI-Tool-Prompts

Ohne Datenklassifizierungsregeln für Prompts neigen Mitarbeitende dazu, den vollständigen Kontext ihrer Arbeit einzubeziehen, einschließlich personenbezogener identifizierbarer Daten.

DSGVO

Das Senden personenbezogener Daten an KI-Tools kann gegen die DSGVO verstoßen

Je nach den Datenverarbeitungsbedingungen des KI-Anbieters kann das Einbeziehen personenbezogener Daten in Prompts eine unrechtmäßige internationale Datenübermittlung darstellen.

Agenten

KI-Agenten verstärken das Injection-Risiko

KI-Agenten, die Aktionen ausführen können (E-Mails senden, Datenbanken abfragen, im Web surfen), sind besonders anfällig für Prompt Injection, eine einzige injizierte Anweisung kann die gesamte Aufgabe kapern.

Die Richtlinien

Klicken Sie auf jeden Abschnitt, um den Inhalt der Richtlinie aufzuklappen. Teilen Sie sie mit Ihren Teams und binden Sie sie in Ihre Richtlinie zur akzeptablen Nutzung von KI ein.

Sicheres Prompting bedeutet, KI-Tools den Kontext zu geben, den sie für die Aufgabe benötigen, und nichts darüber hinaus. Das Kontextfenster ist kein sicherer Container; sein Inhalt kann protokolliert, aufbewahrt und in künftigen Ausgaben offengelegt werden.

Darf NIEMALS in einem KI-Prompt enthalten sein:

Personenbezogene identifizierbare Daten (PII), Namen, Adressen, Sozialversicherungsnummer/SSN, Geburtsdaten, Finanzkontonummern
Anmeldedaten, API-Schlüssel, Passwörter, Authentifizierungs-Token, Geheimnisse jeglicher Art
Vertrauliche Geschäftsinformationen, unveröffentlichte Finanzdaten, M&A-Aktivitäten, Preisstrategie, Wettbewerbsinformationen
Kundendaten, die Vertraulichkeitsvereinbarungen oder Auftragsverarbeitungsverträgen unterliegen
Quellcode für Produktionssysteme, sofern das Tool nicht ausdrücklich für Code freigegeben ist und keine Geheimnisse enthält
Daten, die nach Ihrer Datenklassifizierungsrichtlinie als Eingeschränkt eingestuft sind

Überlegungen zu Kontextfenster und Speicher

Gehen Sie davon aus, dass alles im Kontextfenster vom KI-Anbieter protokolliert werden kann, auch in Enterprise-Stufen
Mehrstufige Konversationen sammeln Kontext an: Frühere Nachrichten mit sensiblen Daten bleiben während der gesamten Sitzung im Kontext
KI-Tools mit Speicher oder persistentem Kontext übertragen Informationen zwischen Sitzungen, verlassen Sie sich niemals darauf, dass Daten vergessen werden
Bei Verwendung von RAG (Retrieval-Augmented Generation) werden aus externen Quellen abgerufene Daten in das Kontextfenster eingefügt und unterliegen denselben Regeln wie direkt eingegebene Daten

Vollständige Richtlinien herunterladen

So setzen Sie diese Richtlinien um

Befolgen Sie diese fünf Schritte, um innerhalb von 30 Tagen von der Richtlinienvorlage zur unternehmensweiten Durchsetzung zu gelangen.

Bewerten Sie Ihre aktuelle KI-Tool-Landschaft

Identifizieren Sie alle genutzten KI-Tools, freigegebene und nicht freigegebene, und welche Daten Mitarbeitende heute in Prompts eingeben. Diese Ausgangsbasis zeigt die Verhaltensweisen mit dem höchsten Risiko, die zuerst anzugehen sind.

Definieren Sie Datenklassifizierungsregeln für Prompts

Ordnen Sie Ihre bestehenden Datenklassifizierungsstufen expliziten Regeln darüber zu, was in Prompts enthalten sein darf und was nicht. Erstellen Sie klare Beispiele für akzeptable und inakzeptable Prompt-Muster.

Entwickeln Sie freigegebene Prompt-Vorlagen für gängige Aufgaben

Erstellen Sie gemeinsam mit Abteilungsleitern sicherheitsgeprüfte Vorlagen für die Aufgaben, die Mitarbeitende am häufigsten ausführen. Vorgefertigte Vorlagen verringern die kognitive Last des sicheren Promptings.

Schulen Sie Mitarbeitende mit Beispielen statt mit Regeln

Bieten Sie eine 30-minütige Schulung an, die sich auf konkrete Beispiele sicherer und unsicherer Prompts konzentriert. Nehmen Sie reale Beispiele dafür auf, wie eine Prompt Injection aussieht und wie man sie erkennt.

Setzen Sie mit technischen Kontrollen durch und überwachen Sie

Implementieren Sie technische Kontrollen, die sensible Daten in KI-Prompts in Echtzeit erkennen. Schriftliche Richtlinien ohne technische Durchsetzung bleiben Wunschdenken. Überwachen Sie Injection-Muster automatisch.

FAQ

Häufig gestellte Fragen

Prompt Injection ist ein Angriff, bei dem in Inhalten eingebettete bösartige Anweisungen ein KI-Modell dazu bringen, sein vorgesehenes Verhalten zu überschreiben, wenn dieser Inhalt in einem Prompt enthalten ist. Im Unternehmenskontext ist dies relevant, weil Mitarbeitende unwissentlich injizierten Inhalt in Prompts aufnehmen können (z. B. wenn sie eine KI bitten, eine E-Mail mit Injection-Anweisungen zusammenzufassen); Angreifer können Dokumente erstellen, die KI-Agenten dazu manipulieren, Daten preiszugeben; und KI-Systeme, die autonom handeln, sind besonders anfällig, da injizierte Anweisungen ihren gesamten Aufgabenfluss umlenken können.

Erste Schritte

Setzen Sie Prompt-Richtlinien in Echtzeit durch

Aona setzt Prompt-Engineering-Richtlinien in Echtzeit durch, erkennt sensible Daten in KI-Prompts, bevor sie das Modell erreichen, blockiert Prompt-Injection-Muster und protokolliert alle KI-Interaktionen als Compliance-Nachweis.

Vorlage herunterladen Demo buchen

Verwandte Ressourcen

Richtlinie zur akzeptablen Nutzung von KI KI-Incident-Response-Playbook Sicherheitsfragebogen für KI-Anbieter Alle Vorlagen Aona AI-Plattform

KI-Prompt-EngineeringRichtlinien

Setzen Sie Prompt-Richtlinien in Echtzeit durch

KI-Prompt-Engineering
Richtlinien