El sesgo de la IA se refiere a una discriminación sistemática e injusta en los resultados de los sistemas de IA que perjudica a determinados grupos en función de características como la raza, el género, la edad o el estatus socioeconómico. El sesgo puede introducirse en los sistemas de IA en múltiples etapas: a través de datos de entrenamiento sesgados, un diseño algorítmico defectuoso, una selección sesgada de variables o una supervisión humana con prejuicios.
Los tipos de sesgo de la IA incluyen: sesgo histórico (los datos de entrenamiento reflejan sesgos sociales del pasado), sesgo de representación (la infrarrepresentación de determinados grupos en los datos de entrenamiento), sesgo de medición (variables indirectas que se correlacionan con características protegidas), sesgo de agregación (modelos que no tienen en cuenta las diferencias entre subgrupos), sesgo de evaluación (métricas de prueba que favorecen a determinados grupos) y sesgo de implementación (el uso de un modelo en contextos para los que no fue diseñado).
Entre los ejemplos del mundo real se encuentran herramientas de contratación basadas en IA que penalizaban los currículums de las mujeres, sistemas de reconocimiento facial con tasas de error más altas para los tonos de piel más oscuros, algoritmos sanitarios que subestimaban las necesidades de los pacientes negros y modelos de puntuación crediticia que discriminaban en función de los códigos postales.
Las estrategias de mitigación incluyen datos de entrenamiento diversos y representativos, herramientas de auditoría de sesgos y métricas de equidad, pruebas periódicas en distintos grupos demográficos, supervisión humana de las decisiones de la IA, documentación transparente de las limitaciones de los modelos y el cumplimiento normativo de las leyes contra la discriminación.