Testez séparément les prompts IA tapés et collés
Un test de collage réussi n’établit pas ce qui se passe lorsqu’un employé tape le même contenu. Évaluez séparément la méthode d’entrée, la décision de politique et la soumission finale, en utilisant un compte test approuvé et des données synthétiques avec classification attendue connue.
Pour Ingénieurs sécurité menant un pilote IA pour employés
Un résumé de support, trois méthodes d’entrée
Un utilisateur pilote demande à un assistant IA de résumer un ticket de support fictif. L’évaluateur ne change que la manière dont le même texte test entre dans le composeur.
Ce avec quoi vous travaillez
- Un ticket synthétique contenant une fixture de données sensibles approuvée par le fournisseur et un label évident TEST UNIQUEMENT.
- Un ticket équivalent contenant des informations publiques qui devraient être autorisées selon la politique sélectionnée.
- Version enregistrée du navigateur, version de l’extension, configuration de la politique et type de compte IA connecté.
Une approche plus sûre
- Utilisez une conversation test isolée et confirmez la classification attendue de la fixture avant de tenter la soumission.
- Tapez, collez en texte brut et collez en texte formaté dans des sessions séparées avec la même politique.
- Conservez captures d’écran et résultats dans la feuille de travail de l’évaluateur ; ne supposez pas que le produit de sécurité enregistre la méthode d’entrée.
Résultat attendu : Chaque méthode dans le périmètre produit la décision convenue, et l’évaluateur peut distinguer une soumission interceptée d’un avertissement suivi d’un envoi complet.
Suivez la procédure
Corrigez la politique et la fixture
Notez l’action requise pour le texte restreint synthétique et le contrôle autorisé. Demandez au fournisseur quel détecteur et échantillon sont appropriés. Un numéro de compte inventé qui échoue à une somme de contrôle est un mauvais test positif car la classification attendue est déjà incertaine.
Testez chaque méthode d’entrée
Commencez une nouvelle conversation pour chaque test. Testez la saisie manuelle, le collage en texte brut et le collage formaté sans changer de navigateur, compte ou politique. Observez si l’intervention se produit au collage, pendant la composition ou à la soumission ; ce sont des points différents du flux de travail.
Inspectez l’action finale
Tentez l’envoi normal et enregistrez ce que l’utilisateur voit. Lorsque permis dans l’environnement de test, inspectez la conversation résultante et les preuves produit disponibles. Une fenêtre popup seule n’établit pas que le fournisseur n’a jamais reçu le matériel soumis.
Répétez avec un contrôle bénin
Envoyez la version autorisée avec les mêmes méthodes. Enregistrez toute interruption inutile séparément d’une restriction manquée. Retestez les résultats incohérents et identifiez leurs conditions avant de décider si une méthode est supportée, non supportée ou encore non résolue pour ce déploiement.
À vérifier avant de continuer
1. Couverture des méthodes d’entrée
- Prêt quand
- Les fixtures tapées et collées respectent l’action documentée pour chaque méthode dans le périmètre.
- Si la vérification échoue
- Excluez la méthode échouante de la déclaration de couverture et convenez d’une solution de contournement ou d’un test de remédiation.
2. Résultat de la soumission
- Prêt quand
- Les preuves distinguent les soumissions empêchées, modifiées, contournées et complétées.
- Si la vérification échoue
- Marquez le résultat comme non concluant et obtenez un moyen supporté pour vérifier l’action finale.
3. Utilisabilité bénigne
- Prêt quand
- Le contrôle approuvé reste utilisable sans interruption de politique inexpliquée.
- Si la vérification échoue
- Examinez la règle correspondante avant d’étendre l’application à plus d’utilisateurs.
Erreurs courantes à éviter
- Compter un avertissement comme prévention alors que l’utilisateur peut encore envoyer le texte original.
- Changer simultanément le service IA, le type de compte et la méthode d’entrée, laissant la cause des résultats différents incertaine.
Évaluez ce workflow avec Aona
Où Aona peut aider
Demandez aux équipes commerciales et techniques d’Aona d’identifier les flux de prompts supportés et les fixtures synthétiques adaptées pour un pilote ciblé.
À confirmer
Confirmez les comportements tapés et collés pour la version et le fournisseur réels ; ce protocole ne garantit pas la couverture de tous les chemins d’entrée.
Évaluez-vous les contrôles des requêtes ChatGPT ?
Discutez des requêtes tapées et collées sur l'interface ChatGPT utilisée par vos employés. Passez en revue les réponses politiques prises en charge avec des entrées synthétiques et convenez des critères d'acceptation.
FAQ