La IA explicable (XAI) se refiere a los métodos, técnicas y herramientas que hacen que las salidas de los sistemas de IA sean comprensibles para los usuarios humanos. A medida que los modelos de IA, en particular el aprendizaje profundo y los grandes modelos de lenguaje, se vuelven más complejos, sus procesos de toma de decisiones se convierten en «cajas negras» opacas, lo que plantea desafíos para la confianza, la rendición de cuentas y el cumplimiento normativo.
Los enfoques de la XAI se dividen en dos categorías: los modelos intrínsecamente interpretables (modelos más sencillos como los árboles de decisión o la regresión lineal, comprensibles por naturaleza) y los métodos de explicación a posteriori (técnicas aplicadas a modelos complejos para explicar sus decisiones después de los hechos).
Las técnicas comunes de XAI incluyen: LIME (Local Interpretable Model-agnostic Explanations), que explica las predicciones individuales aproximando el modelo de forma local; SHAP (SHapley Additive exPlanations), que utiliza la teoría de juegos para atribuir la importancia de las características; la visualización de la atención, que muestra en qué elementos de entrada se centró el modelo; las explicaciones contrafactuales, que describen qué cambios en la entrada modificarían el resultado; las explicaciones basadas en conceptos, que relacionan el comportamiento del modelo con conceptos comprensibles para el ser humano; y las explicaciones en lenguaje natural generadas por el propio modelo.
Las aplicaciones empresariales de la XAI incluyen: el cumplimiento normativo (derecho a una explicación del RGPD, requisitos de transparencia del EU AI Act), la gestión de riesgos (comprender por qué los sistemas de IA toman determinadas decisiones), la detección de sesgos (identificar qué características impulsan resultados potencialmente discriminatorios), la depuración y la mejora (comprender los fallos del modelo para mejorar el rendimiento) y la confianza de las partes interesadas (generar confianza en los sistemas de IA entre los usuarios, los clientes y los reguladores).