La gobernanza de modelos se refiere al marco integral para gestionar los modelos de IA y aprendizaje automático a lo largo de todo su ciclo de vida. Garantiza que los modelos se desarrollen de forma responsable, se implementen de manera segura, se supervisen de forma continua y se retiren de manera adecuada.
Los aspectos clave de la gobernanza de modelos incluyen: el inventario y registro de modelos (mantener un catálogo de todos los modelos de IA en uso), la evaluación de riesgos de los modelos (evaluar los posibles daños antes de la implementación), la validación de modelos (probar la exactitud, la equidad y la solidez), la documentación de modelos (registrar las decisiones de diseño, los datos de entrenamiento y las limitaciones), la supervisión de modelos (seguir la deriva del rendimiento, la aparición de sesgos y los comportamientos inesperados), el control de versiones de modelos (gestionar las actualizaciones y las reversiones) y la retirada de modelos (dar de baja de forma segura los modelos obsoletos).
Para las empresas que utilizan herramientas y API de IA de terceros, la gobernanza de modelos se extiende a la gestión de proveedores: saber qué modelos impulsan las herramientas que utilizan los empleados, seguir los cambios de versión de los modelos por parte de los proveedores, evaluar el impacto de las actualizaciones de los modelos en los procesos empresariales y garantizar que los modelos de los proveedores cumplan las normas de la organización.
Los marcos regulatorios como el EU AI Act y las normas del sector como ISO 42001 exigen cada vez más procesos formales de gobernanza de modelos, en particular para las aplicaciones de IA de alto riesgo.