Une demande IA d'un employé
Le code applique l'action.
Explorer cet article 6 chapitres
La prochaine frontière de la sécurité IA en entreprise est de prendre de meilleures décisions au moment où les employés utilisent l'IA. Je veux des contrôles qui comprennent la demande, appliquent la bonne politique et maintiennent la fluidité des opérations.
C’est pourquoi Jev, présenté par TypeSafe AI, a retenu mon attention. Son approche des décisions rapides et structurées ouvre une opportunité : apporter plus de jugement contextuel dans la courte fenêtre entre l’action d’un employé et ses conséquences.
Pourquoi Jev ?
Jev m’intéresse car il combine compréhension du langage naturel avec un modèle entraîné pour la prise de décisions. TypeSafe décrit des sorties typées parallèles, sans générer une réponse token par token. Les questions fournies avec chaque requête définissent les jugements à porter, et les résultats donnent au logiciel des signaux structurés qu’il peut utiliser.
C'est une conception utile pour des contrôles de politique fréquents et limités. L'opportunité architecturale est de rapprocher le contrôle de chaque action employé, avec assez de contexte pour une décision utile et un délai minimal pour préserver l'expérience. Cela nécessite encore des tests comparatifs sur les mêmes politiques.
Comparaison de Jev
Ces catégories se chevauchent : un détecteur peut combiner règles et modèles, et un modèle de garde peut être un LLM. Je choisirais selon la décision que chaque couche doit prendre. Le code reste maître de l'application.
Modèles de décision de type JevJugements textuels avec critères flexibles et probabilités typées.
Jev évalue le texte selon des critères définis par la requête en utilisant des poids de modèle partagés. Sa documentation décrit des probabilités typées pour des jugements bornés, sans explications générées. Cela convient aux questions de politique évolutives. L’analyse de fichiers, la rédaction et l’application restent du ressort du logiciel environnant ; la précision, la latence et les seuils doivent encore être évalués sur les données ciblées.
Juges LLM polyvalentsRaisonnement large et explications, avec sorties structurées disponibles.
Utile lorsqu’une vérification nécessite un raisonnement plus large ou une explication. Les API LLM supportées offrent aussi du JSON contraint par schéma ; ce format n’est pas unique à Jev et peut toujours contenir des erreurs. Mesurez la qualité, la latence et le coût pour le modèle et les paramètres sélectionnés.
Règles et correspondance de motifsConditions explicites avec résultats prévisibles et inspectables.
Utilisez des règles exactes pour les listes blanches, destinations, formats connus et conditions d’accès explicites. Open Policy Agent évalue la politique sur les données fournies ; il n’infère pas d’intention cachée à partir du texte seul. Les règles sont prévisibles dans leurs définitions, mais manquent les violations que ces définitions ne couvrent pas.
Détecteurs de données personnelles et secretsRepèrent les segments sensibles et les identifiants reconnaissables.
Presidio détecte les segments sensibles avec des motifs, des modèles de reconnaissance d’entités et des validations ; Gitleaks cible les secrets avec des règles. Leurs résultats peuvent guider les workflows de rédaction. Leur couverture configurée peut manquer des données inconnues, et détecter une entité ne décide pas à lui seul si son partage est autorisé.
Modèles de garde dédiésDétection spécialisée de sécurité ou d'attaque dans un périmètre défini.
Llama Guard évalue le contenu selon une taxonomie de sécurité définie, tandis que Prompt Guard cible les tentatives de contournement des instructions. Utile lorsque ce périmètre d’entraînement correspond à la vérification. Leurs limites documentées en domaine et adversariales restent importantes, et un verdict de modèle seul ne peut établir qu’une requête a été appliquée en toute sécurité.
Le contexte modifie la décision
Exemples illustratifs de politique
Même sujet. Intention différente.
Exemple de politique : autoriser l’éducation, interdire le vol d’identifiants.
“Expliquez pourquoi cet e-mail est une tentative de phishing pour notre session de sensibilisation du personnel.”
Cette demande facilite-t-elle le vol d’identifiants ?
Non
Allow
La demande aide les personnes à reconnaître le phishing. Elle ne facilite pas le vol d’identifiants.
Considérez une politique qui autorise la formation à la sécurité mais interdit l’aide au vol d’identifiants. « Expliquez pourquoi cet e-mail est une tentative de phishing » et « Rendez cet e-mail de collecte d’identifiants plus convaincant » partagent le vocabulaire, mais demandent une aide très différente. Une vérification contextuelle peut évaluer ce que l’assistance permettrait. Ce sont des exemples synthétiques d’une distinction politique, non des résultats mesurés de Jev. Le guide des garde-fous de TypeSafe montre comment la classification et la notation de gravité peuvent soutenir ce type de jugement borné.
Un meilleur signal pour la politique
Une distribution structurée offre au code politique plus d'éléments qu'une simple étiquette. Différents contrôles peuvent avoir des seuils différents, reflétant les conséquences d'une violation manquée ou d'un blocage inutile. Les résultats ambigus peuvent déclencher une évaluation approfondie. L'équipe sécurité définit toujours l'action ; le modèle fournit un signal. Cela rend les compromis explicites et donne aux équipes un référentiel concret pour évaluer leurs propres politiques.
Données illustratives · 12 demandes synthétiques · Pas des mesures Jev
Déplacer le seuil de blocage
Une demande est bloquée lorsque sa probabilité estimée de violation de politique atteint ou dépasse le seuil.
1 / 6
Demandes légitimes bloquées
2 / 6
Violations sous le seuil
5 sur 12 demandes bloquées à 70%.
Sous le seuil, les demandes passent dans cet exemple simplifié. Un système réel peut ajouter une étape de révision.
Inspecter les données illustratives
Six demandes légitimes et six violations de politique. Ces scores fixes illustrent les compromis liés au seuil, pas la performance mesurée du modèle.
| Demande | Statut réel | p(violation) | Décision |
|---|---|---|---|
| L1 | Légitime | 8% | Passes |
| L2 | Légitime | 18% | Passes |
| L3 | Légitime | 31% | Passes |
| L4 | Légitime | 55% | Passes |
| L5 | Légitime | 68% | Passes |
| L6 | Légitime | 88% | Bloqué |
| V1 | Violation de politique | 46% | Passes |
| V2 | Violation de politique | 62% | Passes |
| V3 | Violation de politique | 74% | Bloqué |
| V4 | Violation de politique | 81% | Bloqué |
| V5 | Violation de politique | 92% | Bloqué |
| V6 | Violation de politique | 97% | Bloqué |
Ces signaux nécessitent une validation. La propriété de confiance distincte de Jev décrit la concentration de la distribution, pas la probabilité qu'une réponse soit correcte. La calibration se mesure sur l'ensemble des prédictions et ne peut garantir un résultat individuel. TypeSafe reconnaît également explicitement dans ses limitations de Jev 1.13 que du contenu adversarial peut orienter les réponses. Les évaluations de sécurité doivent donc mesurer les faux positifs, les violations manquées et la résistance à la manipulation en plus de la latence.
L'innovation standard doit répondre à
Je considère que l'architecture la plus robuste combine des contrôles spécialisés. Les détecteurs déterministes gèrent les motifs connus et restrictions explicites. Les modèles contextuels répondent à des questions bornées sur le sens. Le code politique applique la décision, et l'application doit rester fiable quand un modèle est incertain ou indisponible. Chaque couche a un rôle défini, et le système de protection doit être testé dans son ensemble.
La confidentialité doit être intégrée dès le départ dans cette architecture. Un garde-fou peut inspecter précisément les informations qu'il protège. Le lieu de traitement, l'accès, la conservation et l'utilisation pour la formation sont des exigences techniques. Tout modèle envisagé pour ce rôle doit disposer d'une voie de déploiement sécurisée et de modalités de gestion des données conformes aux exigences des clients. Une décision plus rapide n'a de valeur que dans un système de protection en lequel les clients ont confiance.
Notre orientation chez Aona
Chez Aona, nous étudions cette catégorie de modèle pour une classification précise et rapide des garde-fous. Jev est un exemple intéressant de cette orientation, et notre objectif est la capacité que cette approche pourrait offrir pour protéger l'utilisation de l'IA par les employés.
Nous proposerons une offre future lorsque nous pourrons démontrer une protection efficace via des options de déploiement répondant à nos exigences de sécurité et de confidentialité. Mon ambition est de faire de la protection contextuelle une partie naturelle de chaque interaction pertinente des employés avec l'IA. Des modèles de décision plus rapides pourraient nous y aider, fondés sur cette base.
Sources à l’origine de cette perspective 12 sources principales
- Jev, présenté par TypeSafe AI
- des sorties typées parallèles
- documentation
- du JSON contraint par schéma
- Open Policy Agent
- Presidio
- Gitleaks
- Llama Guard
- Prompt Guard
- guide des garde-fous
- de confiance distincte
- limitations de Jev 1.13
Les exemples interactifs sont des illustrations créées, non des résultats mesurés de Jev. Sources consultées le 22 septembre 2026.