Glosario de gobernanza de la IA

Cuando un modelo de IA genera una salida factualmente incorrecta, inventada o sin sentido, presentada con la misma seguridad que la información precisa.

Un enfoque de aprendizaje automático en el que los modelos se entrenan en varios dispositivos o servidores descentralizados sin compartir datos sin procesar, lo que preserva la privacidad.

Un inventario completo de todos los componentes, fuentes de datos, modelos, bibliotecas y dependencias que conforman un sistema de IA, que permite la transparencia y la seguridad de la cadena de suministro.

Un campo de estudio centrado en comprender los ataques que manipulan los sistemas de IA mediante entradas maliciosas, datos envenenados o la explotación de modelos, y en defenderse de ellos.

Un programa de software autónomo impulsado por IA que percibe su entorno, toma decisiones y realiza acciones para lograr objetivos específicos con distintos grados de supervisión humana.

Restricciones de seguridad, filtros y controles implementados en torno a los grandes modelos de lenguaje para evitar salidas dañinas, inexactas o que infrinjan las políticas.

El proceso de categorizar los datos según su nivel de sensibilidad para determinar las reglas adecuadas de tratamiento, protección y uso con IA.

La práctica de garantizar que los sistemas de IA de una organización y su uso cumplan con las leyes, regulaciones, normas del sector y políticas internas aplicables.

Las políticas y mecanismos que determinan qué usuarios, roles y sistemas pueden acceder, usar o gestionar las herramientas de IA y los datos que procesan.

Un asistente con IA integrado en las aplicaciones de software que ayuda a los usuarios a completar tareas ofreciendo sugerencias, automatizando flujos de trabajo y generando contenido.

Un órgano de gobernanza interfuncional responsable de supervisar el desarrollo, la implementación y el uso éticos de los sistemas de IA dentro de una organización.

Tecnologías y procesos de seguridad que detectan y previenen la transferencia no autorizada de datos sensibles, también a través de herramientas y servicios de IA.

El proceso de identificar y catalogar todas las herramientas, servicios y modelos de IA que se utilizan en una organización, incluido el uso no autorizado o desconocido.

El proceso de supervisar los modelos de IA en busca de cambios en los patrones de datos, el rendimiento del modelo o la calidad de las salidas a lo largo del tiempo que puedan degradar la exactitud o introducir nuevos riesgos.

El primer marco jurídico integral del mundo para la inteligencia artificial, aprobado por el Parlamento Europeo en 2024, que establece obligaciones basadas en el riesgo para cualquier organización que introduzca sistemas de IA en el mercado de la UE.

La práctica de aislar las herramientas y los experimentos de IA en entornos controlados para probar su comportamiento, seguridad y cumplimiento antes de una implementación más amplia en la organización.

Un ataque a los sistemas de IA en el que los adversarios corrompen deliberadamente los datos de entrenamiento para manipular el comportamiento del modelo, introducir puertas traseras o degradar el rendimiento.

La exposición involuntaria de datos sensibles, confidenciales o regulados a través de las interacciones con herramientas y servicios de IA.

Un documento estandarizado que proporciona información esencial sobre un modelo de IA, incluido su uso previsto, sus características de rendimiento, sus limitaciones y las consideraciones éticas.

El marco de políticas, procesos y controles que guía el desarrollo, la implementación y el uso responsables de los sistemas de IA dentro de una organización.

El proceso sistemático de identificar, evaluar, mitigar y supervisar los riesgos asociados al desarrollo, la implementación y el uso de los sistemas de IA.

Un tipo de modelo de IA entrenado con vastos conjuntos de datos de texto que puede comprender y generar texto similar al humano, y que impulsa herramientas como ChatGPT, Claude y Gemini.

El conjunto de políticas, procesos y controles para gestionar el ciclo de vida de los modelos de IA y aprendizaje automático, desde el desarrollo hasta la implementación y la retirada.

Una técnica de ataque en la que se insertan instrucciones maliciosas en los prompts de la IA para manipular el comportamiento del modelo, eludir los controles de seguridad o extraer información sensible.

La norma internacional para sistemas de gestión de IA, que proporciona un marco para que las organizaciones gestionen la IA de forma responsable a lo largo de todo su ciclo de vida.

Un enfoque del desarrollo y la implementación de la IA que prioriza los principios éticos, el beneficio social y la mitigación de riesgos a lo largo de todo el ciclo de vida de la IA.

Sistemas de IA capaces de crear contenido nuevo, ya sea texto, imágenes, código, audio o vídeo, a partir de patrones aprendidos de los datos de entrenamiento.

El uso de la IA de una manera que mantiene los datos, y un control real sobre ellos, bajo la autoridad legal y operativa de un país u organización elegidos.

Sistemas y técnicas de IA diseñados para hacer que las decisiones de la inteligencia artificial sean comprensibles e interpretables por los humanos, lo que favorece la confianza y la rendición de cuentas.

Sistemas de IA que planifican de forma autónoma, ejecutan tareas de varios pasos y actúan en el mundo con una intervención humana mínima.

Una técnica para sortear las barreras de protección de seguridad de un modelo de IA mediante la elaboración de solicitudes que hacen que el modelo ignore sus restricciones y produzca contenido restringido.

La práctica de diseñar entradas que sortean las barreras de protección de seguridad de un modelo de IA, lo que provoca que produzca salidas que fue entrenado específicamente para rechazar.

Un proceso estructurado para identificar, categorizar y priorizar las posibles amenazas de seguridad específicas de los sistemas de IA y sus entornos de implementación.

Técnicas para incorporar marcadores ocultos e identificables en los modelos de IA o sus salidas para demostrar la propiedad, detectar el uso no autorizado o rastrear la procedencia del contenido.

El NIST AI Risk Management Framework es un marco voluntario publicado por el National Institute of Standards and Technology de los Estados Unidos para ayudar a las organizaciones a identificar, evaluar y gestionar los riesgos asociados a los sistemas de IA.

La capacidad de supervisar, medir y comprender el comportamiento, el rendimiento y el uso de los sistemas de IA en toda una organización en tiempo real.

Una política organizativa formal que define las reglas, directrices y límites para el uso de herramientas y servicios de IA por parte de los empleados.

La protección de los datos personales y sensibles a lo largo de todo el ciclo de vida de los sistemas de IA, desde la recopilación de datos de entrenamiento hasta la inferencia y la generación de salidas.

La práctica de simular ataques reales contra los sistemas de IA para identificar vulnerabilidades explotables en los modelos, las API y las canalizaciones de datos.

Un marco matemático que ofrece garantías de privacidad medibles al añadir ruido controlado a los datos o los cálculos, lo que impide la identificación de individuos en los conjuntos de datos.

Una práctica estructurada de pruebas adversarias en la que expertos en seguridad simulan ataques contra los sistemas de IA para descubrir vulnerabilidades, sesgos y modos de fallo antes de la implementación.

Un registro cronológico de todas las actividades, decisiones y flujos de datos relacionados con la IA dentro de una organización, que se mantiene con fines de cumplimiento, seguridad y rendición de cuentas.

Una arquitectura de IA que mejora las salidas de los modelos de lenguaje al recuperar e incorporar información relevante de fuentes de conocimiento externas antes de generar las respuestas.

El proceso estructurado para detectar, investigar, contener y recuperarse de incidentes de seguridad que afectan a sistemas de IA o de filtraciones de datos relacionadas con la IA.

El requisito de que los datos procesados por los sistemas de IA permanezcan dentro de límites geográficos o jurisdiccionales específicos para cumplir las leyes de soberanía de datos.

La extracción, replicación o robo no autorizados de modelos de IA propietarios mediante consultas a la API, acceso interno o técnicas de ingeniería inversa.

El uso de herramientas y servicios de IA por parte de los empleados sin el conocimiento, la aprobación ni la supervisión de los equipos de TI y seguridad.

Errores sistemáticos en los sistemas de IA que producen resultados injustos, que suelen reflejar prejuicios históricos presentes en los datos de entrenamiento o un diseño algorítmico defectuoso.

La práctica de proteger los sistemas, modelos y datos de IA frente a amenazas, vulnerabilidades y ataques a lo largo de todo el ciclo de vida de la IA.

El uso de sistemas, software y servicios de TI dentro de una organización sin la aprobación explícita del departamento de TI.

La práctica de identificar, evaluar y mitigar los riesgos de seguridad en toda la cadena de componentes, servicios y proveedores que conforman el ecosistema de IA de una organización.

El principio de que los datos están sujetos a las leyes de la jurisdicción donde se recopilan, almacenan o procesan, y la expectativa relacionada de que una organización controle qué jurisdicciones pueden acceder a ellos.

La vigilancia automatizada y continua de los sistemas de IA para detectar en tiempo real la degradación del rendimiento, las amenazas de seguridad, las infracciones de políticas y los problemas de cumplimiento.

El principio de que los sistemas de IA deberían ser comprensibles, con sus procesos de toma de decisiones, su uso de datos y sus limitaciones comunicados con claridad a las partes interesadas.

La unidad básica de texto que procesan los modelos de lenguaje de IA, que suele representar una palabra, una subpalabra o un carácter, y se utiliza para medir la longitud de entrada/salida y la tarificación.

La aplicación de los principios de seguridad Zero Trust a los sistemas de IA, que exige la verificación continua de cada usuario, dispositivo y flujo de datos que interactúa con las herramientas de IA.

Los principios y valores que orientan el desarrollo, la implementación y el uso responsables de los sistemas de IA para garantizar la equidad, la transparencia, la rendición de cuentas y el bienestar humano.