Glossaire de la gouvernance de l'IA

Une approche d’apprentissage automatique où les modèles sont entraînés sur plusieurs appareils ou serveurs décentralisés sans partager les données brutes, préservant ainsi la confidentialité.

Un inventaire complet de l’ensemble des composants, sources de données, modèles, bibliothèques et dépendances qui constituent un système d’IA, permettant la transparence et la sécurité de la chaîne d’approvisionnement.

Un domaine d’étude consacré à la compréhension et à la défense contre les attaques qui manipulent les systèmes d’IA au moyen d’entrées malveillantes, de données empoisonnées ou de l’exploitation des modèles.

Un programme logiciel autonome propulsé par l’IA qui perçoit son environnement, prend des décisions et agit pour atteindre des objectifs précis, avec un degré variable de supervision humaine.

Des erreurs systématiques dans les systèmes d’IA qui produisent des résultats injustes, reflétant généralement des préjugés historiques présents dans les données d’entraînement ou une conception algorithmique défaillante.

La pratique consistant à isoler les outils et expérimentations d’IA dans des environnements contrôlés afin de tester leur comportement, leur sécurité et leur conformité avant un déploiement plus large dans l’organisation.

Le processus de catégorisation des données selon leur niveau de sensibilité afin de déterminer les règles appropriées de traitement, de protection et d’utilisation avec l’IA.

La pratique consistant à garantir que les systèmes d’IA d’une organisation et leur utilisation respectent les lois, réglementations, normes sectorielles et politiques internes applicables.

Les politiques et mécanismes qui déterminent quels utilisateurs, rôles et systèmes peuvent accéder aux outils d’IA, les utiliser ou les gérer, ainsi qu’aux données qu’ils traitent.

La protection des données personnelles et sensibles tout au long du cycle de vie des systèmes d’IA, de la collecte des données d’entraînement à l’inférence et à la génération des sorties.

Un assistant doté d’IA intégré aux applications logicielles, qui aide les utilisateurs à accomplir des tâches en proposant des suggestions, en automatisant les flux de travail et en générant du contenu.

Un cadre mathématique qui offre des garanties de confidentialité mesurables en ajoutant un bruit contrôlé aux données ou aux calculs, empêchant l’identification des individus dans les jeux de données.

Un organe de gouvernance interfonctionnel chargé de superviser le développement, le déploiement et l’utilisation éthiques des systèmes d’IA au sein d’une organisation.

Des technologies et des processus de sécurité qui détectent et empêchent le transfert non autorisé de données sensibles, y compris via les outils et services d’IA.

Le processus d’identification et de catalogage de tous les outils, services et modèles d’IA utilisés au sein d’une organisation, y compris les usages non autorisés ou inconnus.

Le processus de surveillance des modèles d’IA pour détecter, au fil du temps, les changements dans les schémas de données, les performances du modèle ou la qualité des sorties susceptibles de dégrader l’exactitude ou d’introduire de nouveaux risques.

Le premier cadre juridique complet au monde pour l’intelligence artificielle, adopté par le Parlement européen en 2024, qui établit des obligations fondées sur les risques pour toute organisation mettant des systèmes d’IA sur le marché de l’UE.

Une attaque contre les systèmes d’IA dans laquelle des adversaires corrompent délibérément les données d’entraînement pour manipuler le comportement du modèle, introduire des portes dérobées ou dégrader les performances.

L’exposition involontaire de données sensibles, confidentielles ou réglementées à travers les interactions avec des outils et services d’IA.

Un document normalisé qui fournit des informations essentielles sur un modèle d’IA, notamment son utilisation prévue, ses caractéristiques de performance, ses limites et les considérations éthiques.

Des techniques permettant d’intégrer des marqueurs cachés et identifiables dans les modèles d’IA ou leurs sorties afin de prouver la propriété, de détecter une utilisation non autorisée ou de tracer la provenance du contenu.

Le cadre de politiques, de processus et de contrôles qui encadre le développement, le déploiement et l’utilisation responsables des systèmes d’IA au sein d’une organisation.

Le processus systématique d’identification, d’évaluation, d’atténuation et de surveillance des risques associés au développement, au déploiement et à l’utilisation des systèmes d’IA.

Un type de modèle d’IA entraîné sur de vastes jeux de données textuelles, capable de comprendre et de générer un texte semblable à celui produit par un humain, et qui alimente des outils tels que ChatGPT, Claude et Gemini.

L’ensemble des politiques, processus et contrôles permettant de gérer le cycle de vie des modèles d’IA et d’apprentissage automatique, du développement au déploiement puis à la mise hors service.

Des contraintes de sécurité, des filtres et des contrôles mis en place autour des grands modèles de langage afin d’empêcher des sorties nuisibles, inexactes ou contraires aux politiques.

Lorsqu’un modèle d’IA génère une sortie factuellement incorrecte, inventée ou absurde, présentée avec la même assurance qu’une information exacte.

Une technique d’attaque consistant à insérer des instructions malveillantes dans les prompts d’une IA afin de manipuler le comportement du modèle, de contourner les contrôles de sécurité ou d’extraire des informations sensibles.

La norme internationale pour les systèmes de management de l’IA, fournissant un cadre permettant aux organisations de gérer l’IA de manière responsable tout au long de son cycle de vie.

Une approche du développement et du déploiement de l’IA qui privilégie les principes éthiques, le bénéfice sociétal et l’atténuation des risques tout au long du cycle de vie de l’IA.

Des systèmes d’IA capables de créer du nouveau contenu, texte, images, code, audio ou vidéo, à partir de motifs appris à partir de données d’entraînement.

L’utilisation de l’IA d’une manière qui maintient les données, et un contrôle réel sur celles-ci, sous l’autorité juridique et opérationnelle d’un pays ou d’une organisation choisis.

Des systèmes et techniques d’IA conçus pour rendre les décisions de l’intelligence artificielle compréhensibles et interprétables par les humains, favorisant la confiance et la responsabilité.

Des systèmes d’IA qui planifient de manière autonome, exécutent des tâches en plusieurs étapes et agissent dans le monde avec une intervention humaine minimale.

Une technique permettant de contourner les garde-fous de sécurité d’un modèle d’IA en concevant des requêtes qui amènent le modèle à ignorer ses restrictions et à produire du contenu interdit.

La pratique consistant à concevoir des entrées qui contournent les garde-fous de sécurité d’un modèle d’IA, l’amenant à produire des sorties qu’il a été spécifiquement entraîné à refuser.

Un processus structuré d’identification, de catégorisation et de hiérarchisation des menaces de sécurité potentielles propres aux systèmes d’IA et à leurs environnements de déploiement.

Le NIST AI Risk Management Framework est un cadre volontaire publié par le National Institute of Standards and Technology des États-Unis pour aider les organisations à identifier, évaluer et gérer les risques associés aux systèmes d’IA.

La capacité de surveiller, de mesurer et de comprendre le comportement, les performances et l’utilisation des systèmes d’IA à l’échelle d’une organisation, en temps réel.

Une politique organisationnelle formelle définissant les règles, lignes directrices et limites encadrant l’utilisation des outils et services d’IA par les employés.

Un enregistrement chronologique de toutes les activités, décisions et flux de données liés à l’IA au sein d’une organisation, tenu à des fins de conformité, de sécurité et de responsabilité.

Une pratique structurée de test adverse dans laquelle des experts en sécurité simulent des attaques contre les systèmes d’IA afin de mettre au jour les vulnérabilités, les biais et les modes de défaillance avant le déploiement.

Une architecture d’IA qui enrichit les sorties des modèles de langage en récupérant et en intégrant des informations pertinentes provenant de sources de connaissances externes avant de générer des réponses.

Le processus structuré de détection, d’investigation, de confinement et de rétablissement face aux incidents de sécurité impliquant des systèmes d’IA ou des violations de données liées à l’IA.

L’exigence selon laquelle les données traitées par les systèmes d’IA demeurent à l’intérieur de frontières géographiques ou juridictionnelles spécifiques afin de respecter les lois sur la souveraineté des données.

L'utilisation d'outils et de services d'IA par les employés à l'insu des équipes informatiques et de sécurité, sans leur approbation ni leur supervision.

La pratique consistant à protéger les systèmes, modèles et données d’IA contre les menaces, vulnérabilités et attaques tout au long du cycle de vie de l’IA.

L’utilisation de systèmes, de logiciels et de services informatiques au sein d’une organisation sans l’approbation explicite du service informatique.

La pratique consistant à identifier, évaluer et atténuer les risques de sécurité sur l’ensemble de la chaîne de composants, de services et de fournisseurs qui composent l’écosystème d’IA d’une organisation.

Le principe selon lequel les données sont soumises aux lois de la juridiction où elles sont collectées, stockées ou traitées, et l’attente connexe selon laquelle une organisation contrôle quelles juridictions peuvent y accéder.

La surveillance automatisée et continue des systèmes d’IA afin de détecter en temps réel la dégradation des performances, les menaces de sécurité, les violations de politiques et les problèmes de conformité.

Le principe selon lequel les systèmes d’IA devraient être compréhensibles, leurs processus de décision, leur utilisation des données et leurs limites étant clairement communiqués aux parties prenantes.

L’unité de base de texte que traitent les modèles de langage d’IA, représentant généralement un mot, un sous-mot ou un caractère, utilisée pour mesurer la longueur des entrées/sorties et la tarification.

La pratique consistant à simuler des attaques réelles contre les systèmes d’IA afin d’identifier les vulnérabilités exploitables des modèles, des API et des pipelines de données.

L’extraction, la réplication ou le vol non autorisés de modèles d’IA propriétaires au moyen de requêtes d’API, d’un accès interne ou de techniques d’ingénierie inverse.

L’application des principes de sécurité Zero Trust aux systèmes d’IA, exigeant une vérification continue de chaque utilisateur, appareil et flux de données interagissant avec les outils d’IA.

Les principes et valeurs qui orientent le développement, le déploiement et l’utilisation responsables des systèmes d’IA afin de garantir l’équité, la transparence, la responsabilité et le bien-être humain.