90 jours d'essai gratuit, risques IA générative :Commencer
Demander une démo
Pilier 04

Contrôles et garde-fous

Mettre en place des protections pour garantir un déploiement sûr de l'IA

Du risque à la protection

L'évaluation des risques identifie ce qui pourrait mal tourner avec les systèmes d'IA. Les contrôles et garde-fous sont les protections que vous mettez en place pour empêcher ces risques de se concrétiser. Des contrôles efficaces font toute la différence entre une gouvernance de l'IA qui reste une intention et une gouvernance de l'IA qui devient réalité.

Les contrôles s'inscrivent sur un spectre allant du préventif au détectif puis au correctif. Les contrôles préventifs arrêtent les problèmes avant qu'ils ne surviennent, par exemple en bloquant l'envoi de données sensibles vers des services d'IA publics. Les contrôles détectifs identifient les problèmes lorsqu'ils se produisent. Les contrôles correctifs répondent aux problèmes après détection. Un cadre de contrôle complet inclut ces trois types, créant une défense en profondeur.

Le défi des contrôles d'IA est d'équilibrer protection et facilitation. L'objectif est d'avoir des contrôles intelligents et proportionnés au risque, stricts pour les applications d'IA à haut risque, plus légers pour les usages à faible risque.

Contrôles techniques

1. Contrôles de protection des données

Protéger les données sensibles est fondamental pour la gouvernance de l'IA. Mettez en place des exigences de classification et de traitement des données, déployez des outils de prévention des fuites de données (DLP), utilisez le chiffrement pour les données au repos et en transit, et mettez en place des contrôles d'accès. Pour les cas d'usage particulièrement sensibles, envisagez des technologies de renforcement de la confidentialité comme la confidentialité différentielle, l'apprentissage fédéré ou la génération de données synthétiques.

2. Contrôles de sécurité des modèles

Les modèles d'IA sont des actifs précieux qui nécessitent une protection. Mettez en place des contrôles d'accès limitant qui peut accéder aux modèles, les modifier ou les déployer. Utilisez le versionnage des modèles et la gestion des changements. Protégez les modèles contre les attaques par extraction grâce au tatouage de modèle, à la limitation du débit des API et au filtrage des sorties. Mettez en place une validation des entrées pour détecter les entrées adverses et déployez une détection d'anomalies pour les schémas inhabituels.

3. Contrôles d'explicabilité et de transparence

Pour les applications d'IA affectant les droits individuels ou les décisions à fort enjeu, mettez en place des contrôles offrant une transparence appropriée. Cela peut inclure des scores d'importance des variables, des explications contrefactuelles, des scores de confiance ou des pistes d'audit. Le niveau d'explicabilité doit être adapté au risque et aux exigences réglementaires du cas d'usage.

Contrôles de processus

1. Circuits d'approbation

Mettez en place des circuits d'approbation adaptés aux niveaux de risque des systèmes d'IA. Les systèmes d'IA à haut risque devraient nécessiter une revue par plusieurs parties prenantes. Les circuits d'approbation doivent être intégrés aux processus de développement, et non ajoutés après coup. Rendez les processus d'approbation clairs et efficaces : des processus longs et flous incitent les équipes à contourner la gouvernance.

2. Exigences de test et de validation

Établissez des tests obligatoires avant qu'un système d'IA puisse être déployé. Les tests doivent couvrir la performance fonctionnelle et les exigences de gouvernance, notamment l'équité entre groupes démographiques, la robustesse aux exemples adverses, les protections de la confidentialité et la conformité réglementaire. Les tests ne doivent pas être un point de passage unique mais une pratique continue.

3. Supervision et revue humaines

Pour les systèmes d'IA qui prennent ou influencent des décisions importantes, définissez quelles décisions nécessitent une revue humaine, qui est qualifié pour effectuer cette revue et comment les décisions sont documentées. Soyez attentif au biais d'automatisation, cette tendance des humains à trop se fier aux recommandations de l'IA. Combattez-le par la formation des évaluateurs et en présentant les sorties de l'IA d'une manière qui encourage l'esprit critique.

Réponse aux incidents

Malgré les contrôles préventifs, des incidents d'IA surviendront. Établissez des procédures spécifiques de réponse aux incidents pour les systèmes d'IA. Définissez ce qui constitue un incident d'IA et créez des chemins d'escalade clairs. Tissez des liens entre les équipes de gouvernance de l'IA, les équipes de réponse aux incidents, le conseil juridique et les équipes de communication avant que les incidents ne surviennent. Réalisez des exercices sur table pour vous entraîner à la réponse aux incidents d'IA.

Rendre les contrôles pratiques

Concevez des contrôles aussi fluides que possible tout en assurant la protection nécessaire. Automatisez l'application des contrôles lorsque c'est faisable. Intégrez les contrôles aux outils et workflows existants. Examinez régulièrement l'efficacité des contrôles : les meilleurs contrôles trouvent le juste équilibre entre protection et facilitation, et évoluent à mesure que les capacités d'IA et le paysage des risques de votre organisation mûrissent.

Checklist : Contrôles et garde-fous