El modelado de amenazas de la IA es la práctica sistemática de analizar los sistemas de IA para identificar posibles vectores de ataque, vulnerabilidades y amenazas antes de que puedan ser aprovechados. Amplía metodologías tradicionales de modelado de amenazas como STRIDE y PASTA para abordar riesgos específicos de la IA, como los ataques adversarios, el envenenamiento de datos, el robo de modelos y la inyección de instrucciones.
El proceso de modelado de amenazas de la IA suele implicar: la definición del alcance del sistema de IA (modelos, canalizaciones de datos, API, integraciones), la identificación de activos (datos de entrenamiento, pesos del modelo, datos de usuario, propiedad intelectual), el mapeo de los flujos de datos (cómo se mueve la información a través del sistema de IA), la identificación de amenazas mediante taxonomías específicas de la IA (OWASP Top 10 para LLM, MITRE ATLAS), la evaluación de la probabilidad y el impacto de cada amenaza y la priorización de las estrategias de mitigación.
Las categorías de amenazas específicas de la IA incluyen: los ataques con entradas adversarias (entradas diseñadas para provocar una clasificación errónea), la extracción de modelos (robo de la funcionalidad del modelo mediante consultas a la API), el envenenamiento de los datos de entrenamiento (corrupción de los datos para manipular el comportamiento del modelo), la inferencia de pertenencia (determinar si se utilizaron datos específicos en el entrenamiento), la inyección de instrucciones y el jailbreaking, el compromiso de la cadena de suministro de las dependencias del modelo y los ataques de privacidad que extraen datos de entrenamiento sensibles.
Las organizaciones deberían realizar un modelado de amenazas de la IA antes de implementar cualquier sistema de IA, durante las actualizaciones importantes y periódicamente a medida que evoluciona el panorama de amenazas. Los resultados deberían alimentar los procesos de gestión de riesgos de la IA e informar la implementación de los controles de seguridad.