What is prompt injection and why does it matter for enterprises?

Prompt injection is an attack where malicious content in a prompt causes an AI model to override its instructions, behave unexpectedly, or reveal information it should not. In an enterprise context, prompt injection matters because: employees may unknowingly include injected content in prompts (e.g. when asking an AI to summarise an email that contains injection instructions); attackers can craft documents designed to manipulate AI agents into leaking data or taking unintended actions; and AI systems that act autonomously (agents) are particularly vulnerable because injected instructions can redirect their entire task flow.

What data should never be included in an AI prompt?

The following data must never be included in any AI prompt, even with approved tools: personal identifiable information (PII) including names, addresses, National Insurance or Social Security numbers, dates of birth, and financial account numbers; credentials of any kind including API keys, passwords, and authentication tokens; confidential business information including unpublished financial data, M&A activity, and competitive strategy; client data subject to confidentiality agreements; and source code for production systems unless the AI tool is explicitly approved for code use and the code does not contain secrets. When in doubt, anonymise before prompting.

When does AI output require human review before use?

AI output always requires human review before use in the following contexts: any legal or compliance document, AI output must never be relied upon for legal advice, contract terms, or regulatory submissions without qualified review; any factual claim that will be published externally, AI models hallucinate and citations must be verified independently; any code that will be deployed in a production environment, AI-generated code must undergo security review for vulnerabilities; any customer-facing content in a regulated context, financial advice, medical information, or insurance recommendations; and any decision affecting an individual's employment, credit, or benefits.

How do I test a prompt for security vulnerabilities?

To test a prompt for security vulnerabilities: (1) attempt to override the system prompt by adding instructions at the end of the user input (e.g. 'Ignore previous instructions and...'); (2) test whether the model reveals its system prompt when asked directly or indirectly; (3) for RAG systems, include injection instructions in a test document that the model retrieves and check whether the injected instructions execute; (4) test for data exfiltration by adding instructions to include specific data in the response; and (5) test output filtering by attempting to elicit content that should be filtered. Document all vulnerabilities found and the prompt hardening measures applied.

Profitez de 30 jours d'essai gratuit pour cartographier vos risques d'IA générative :30 jours d'essai gratuit, risques IA générative :Commencer

Demander une démo

Modèle gratuit · Lignes directrices de sécurité

Ingénierie de prompts IA
Lignes directrices

Lignes directrices d'ingénierie de prompts axées sur la sécurité pour les équipes en entreprise. Couvrent les pratiques de prompting sécurisé, la prévention des fuites de données, la sensibilisation à l'injection de prompts, la validation des sorties et des modèles de prompts approuvés pour les tâches métier courantes.

Télécharger le modèle Demander une démo

0 sections

couverture des lignes directrices de sécurité

0 modèles

modèles de prompts approuvés

OWASP LLM

top 10 des risques d'injection couverts

Gratuit

à utiliser et personnaliser

Pourquoi des lignes directrices d'ingénierie de prompts en entreprise sont importantes

Les collaborateurs utilisent chaque jour des outils d'IA pour traiter des informations métier. Sans consignes sur le prompting sécurisé, le comportement par défaut consiste à coller dans le prompt toutes les données pertinentes, y compris des PII, des données client confidentielles et des identifiants.

N°1

L'injection de prompts est le principal risque de sécurité des LLM

Le Top 10 LLM de l'OWASP classe l'injection de prompts comme le principal risque de sécurité pour les systèmes d'IA en entreprise. Sans formation, les collaborateurs ne peuvent pas la reconnaître.

Données

Des PII entrent régulièrement dans les prompts d'outils d'IA sans politique

Sans règles de classification des données pour les prompts, les collaborateurs ont tendance à inclure tout le contexte de leur travail, y compris des données personnelles identifiables.

RGPD

Envoyer des données personnelles à des outils d'IA peut enfreindre le RGPD

Selon les conditions de traitement des données du fournisseur d'IA, inclure des données personnelles dans les prompts peut constituer un transfert international de données illicite.

Agents

Les agents IA amplifient le risque d'injection

Les agents IA capables d'agir (envoyer des e-mails, interroger des bases de données, naviguer sur le web) sont particulièrement vulnérables à l'injection de prompts, une seule instruction injectée peut détourner toute la tâche.

Les lignes directrices

Cliquez sur chaque section pour développer son contenu. Partagez-les avec vos équipes et intégrez-les à votre politique d'utilisation acceptable de l'IA.

Le prompting sécurisé consiste à fournir aux outils d'IA le contexte dont ils ont besoin pour réaliser la tâche, et rien de plus. La fenêtre de contexte n'est pas un conteneur sécurisé ; son contenu peut être journalisé, conservé et exposé dans de futures sorties.

Ne doit JAMAIS figurer dans un prompt d'IA :

Informations personnelles identifiables (PII), noms, adresses, numéro de sécurité sociale/SSN, dates de naissance, numéros de compte financier
Identifiants, clés d'API, mots de passe, jetons d'authentification, secrets de toute nature
Informations métier confidentielles, données financières non publiées, opérations de fusion-acquisition, stratégie tarifaire, intelligence concurrentielle
Données de clients soumises à des accords de confidentialité ou de traitement des données
Code source de systèmes de production, sauf si l'outil est explicitement approuvé pour le code et ne contient aucun secret
Données classées Restreintes selon votre politique de classification des données

Considérations sur la fenêtre de contexte et la mémoire

Partez du principe que tout ce qui se trouve dans la fenêtre de contexte peut être journalisé par le fournisseur d'IA, même dans les offres entreprise
Les conversations à plusieurs tours accumulent du contexte : les messages antérieurs contenant des données sensibles restent dans le contexte pendant toute la session
Les outils d'IA dotés de mémoire ou de contexte persistant transportent des informations d'une session à l'autre, ne comptez jamais sur l'oubli des données
Avec le RAG (génération augmentée par récupération), les données récupérées depuis des sources externes sont insérées dans la fenêtre de contexte et soumises aux mêmes règles que les données saisies directement

Télécharger les lignes directrices complètes

Comment mettre en œuvre ces lignes directrices

Suivez ces cinq étapes pour passer du modèle de lignes directrices à une application à l'échelle de l'organisation en 30 jours.

Évaluez votre paysage actuel d'outils d'IA

Identifiez tous les outils d'IA utilisés, approuvés et non approuvés, et les données que les collaborateurs saisissent aujourd'hui dans les prompts. Cette base de référence révèle les comportements les plus à risque à traiter en priorité.

Définissez des règles de classification des données pour les prompts

Faites correspondre vos niveaux de classification des données existants à des règles explicites sur ce qui peut et ne peut pas figurer dans les prompts. Produisez des exemples clairs de modèles de prompts acceptables et inacceptables.

Élaborez des modèles de prompts approuvés pour les tâches courantes

Travaillez avec les responsables de département pour créer des modèles revus du point de vue de la sécurité pour les tâches que les collaborateurs réalisent le plus souvent. Des modèles prêts à l'emploi réduisent la charge cognitive d'un prompting sécurisé.

Formez les collaborateurs avec des exemples plutôt que des règles

Proposez une session de formation de 30 minutes axée sur des exemples concrets de prompts sûrs et non sûrs. Incluez de vrais exemples de ce à quoi ressemble une injection de prompts et de la manière de la reconnaître.

Appliquez et surveillez à l'aide de contrôles techniques

Mettez en place des contrôles techniques qui détectent les données sensibles dans les prompts d'IA en temps réel. Des lignes directrices écrites sans application technique restent théoriques. Surveillez automatiquement les schémas d'injection.

FAQ

Questions fréquentes

L'injection de prompts est une attaque où des instructions malveillantes intégrées à un contenu amènent un modèle d'IA à outrepasser son comportement prévu lorsque ce contenu est inclus dans un prompt. En entreprise, cela compte parce que les collaborateurs peuvent inclure sans le savoir du contenu injecté dans les prompts (p. ex. en demandant à une IA de résumer un e-mail contenant des instructions d'injection) ; les attaquants peuvent concevoir des documents qui manipulent les agents IA pour qu'ils divulguent des données ; et les systèmes d'IA qui agissent de manière autonome sont particulièrement vulnérables, car des instructions injectées peuvent rediriger tout leur flux de tâches.

Pour commencer

Appliquez les lignes directrices de prompting en temps réel

Aona applique les politiques d'ingénierie de prompts en temps réel, en détectant les données sensibles dans les prompts d'IA avant qu'elles n'atteignent le modèle, en bloquant les schémas d'injection de prompts et en journalisant toutes les interactions d'IA à des fins de preuve de conformité.

Télécharger le modèle Demander une démo

Ressources associées

Politique d'utilisation acceptable de l'IA Guide de réponse aux incidents d'IA Questionnaire de sécurité fournisseur d'IA Tous les modèles Plateforme Aona AI

Ingénierie de prompts IALignes directrices

Appliquez les lignes directrices de prompting en temps réel

Ingénierie de prompts IA
Lignes directrices