Las pruebas de penetración de la IA son una forma especializada de pruebas de seguridad que se centran en los sistemas de IA simulando ataques adversarios para descubrir vulnerabilidades explotables. A diferencia de las pruebas de penetración tradicionales, centradas en la seguridad de redes y aplicaciones, las pruebas de penetración de la IA se centran específicamente en el comportamiento del modelo, las canalizaciones de datos y las superficies de ataque propias de la IA.
Las áreas clave de las pruebas de penetración de la IA incluyen: las pruebas de inyección de instrucciones (intentar manipular el comportamiento de la IA mediante entradas diseñadas), las pruebas de solidez del modelo (evaluar cómo responden los modelos a los ejemplos adversarios y los casos límite), las pruebas de exfiltración de datos (intentar extraer datos de entrenamiento o información sensible de los modelos), las pruebas de seguridad de las API (sondear los endpoints de los servicios de IA en busca de problemas de autenticación, limitación de velocidad y validación de entradas), las pruebas de elusión de barreras de protección (intentar burlar los filtros de seguridad de contenido), las pruebas de escalada de privilegios (aprovechar los permisos de las herramientas de IA para acceder a datos no autorizados) y las pruebas de la cadena de suministro (evaluar la seguridad de las dependencias e integraciones del modelo).
Las metodologías de pruebas de penetración de la IA se basan en marcos como el OWASP Top 10 para aplicaciones LLM, MITRE ATLAS (Adversarial Threat Landscape for AI Systems) y las directrices del NIST para las pruebas de seguridad de la IA.
Las organizaciones deberían integrar las pruebas de penetración de la IA en sus programas de evaluación de seguridad, realizar pruebas antes de implementar aplicaciones con IA, después de actualizaciones importantes de los modelos y con una periodicidad regular. Los resultados deberían documentarse, corregirse y verificarse mediante nuevas pruebas.