La alucinación de la IA se refiere al fenómeno por el cual un gran modelo de lenguaje (LLM) o sistema de IA genera información factualmente incorrecta, inventada o sin sentido, presentándola con la misma seguridad que la información precisa. El término toma prestado de la psicología y describe salidas en las que la IA «percibe» contenido que no está anclado en la realidad, inventando en realidad cosas de la nada.
Las alucinaciones son una limitación inherente a las arquitecturas actuales de IA generativa. Los LLM predicen el siguiente token estadísticamente más probable a partir de los datos de entrenamiento, sin un mecanismo independiente para verificar la exactitud factual. Esto significa que los modelos pueden producir citas, estadísticas, precedentes jurídicos, información médica o acontecimientos históricos que suenan plausibles pero están completamente inventados.
Los riesgos de alucinación habituales en la empresa incluyen contratos generados por IA con cláusulas jurídicas inventadas, documentación médica con dosis de medicamentos incorrectas, informes financieros que citan datos inexistentes, respuestas de atención al cliente que ofrecen información errónea sobre las políticas y código que hace referencia a funciones o API que no existen (lo que se conoce como «ghost packages» o dependencias alucinadas, que pueden ser aprovechadas por los atacantes).
Las investigaciones de IBM sugieren que las alucinaciones de la IA afectan hasta al 20 % de las respuestas de los LLM en entornos sin restricciones, aunque las implementaciones empresariales con generación aumentada por recuperación (RAG) y un prompting estructurado pueden reducir considerablemente esta tasa.
Las organizaciones que gestionan el riesgo de alucinación de la IA deberían implementar: flujos de revisión humana para el contenido generado por IA en contextos de alto riesgo (jurídico, médico, financiero); arquitecturas RAG que anclen las salidas de la IA en conjuntos de documentos verificados; canalizaciones de validación de salidas que cotejen las afirmaciones de la IA con fuentes autorizadas; formación de los empleados sobre los riesgos de alucinación; y políticas claras sobre cuándo el contenido generado por IA requiere verificación humana antes de su uso.