El envenenamiento de datos es una categoría de ataque adversario dirigido a la fase de entrenamiento de los sistemas de aprendizaje automático. Al inyectar datos maliciosos, mal etiquetados o cuidadosamente diseñados en los conjuntos de datos de entrenamiento, los atacantes pueden manipular el comportamiento del modelo, crear puertas traseras ocultas, reducir la exactitud del modelo o introducir sesgos dirigidos.
Los tipos de ataques de envenenamiento de datos incluyen: la inversión de etiquetas (cambiar las etiquetas correctas de los ejemplos de entrenamiento para provocar una clasificación errónea), los ataques de puerta trasera (insertar patrones desencadenantes que provocan un comportamiento específico del modelo cuando están presentes en las entradas), los ataques de etiqueta limpia (añadir datos correctamente etiquetados pero estratégicamente elegidos que desplazan las fronteras de decisión) y el envenenamiento basado en gradientes (optimizar las muestras envenenadas para maximizar su impacto en el entrenamiento del modelo).
Los vectores de ataque del envenenamiento de datos incluyen: el compromiso de las canalizaciones de recopilación de datos, la aportación de datos envenenados a conjuntos de datos colaborativos, la manipulación de los datos de entrenamiento extraídos de la web, las amenazas internas en los equipos de etiquetado de datos, los ataques a la cadena de suministro de los conjuntos de datos de preentrenamiento y la explotación de los procesos de aumento de datos o de generación de datos sintéticos.
Las estrategias de defensa empresarial incluyen: el seguimiento de la procedencia de los datos (mantener una cadena de custodia para todos los datos de entrenamiento), la validación de datos y la detección de anomalías (identificar valores atípicos estadísticos en los conjuntos de datos de entrenamiento), métodos de entrenamiento robustos (algoritmos resistentes a los datos envenenados), el saneamiento de datos (filtrar las muestras sospechosas antes del entrenamiento), las pruebas de comportamiento del modelo (validar las salidas del modelo en diversos escenarios tras el entrenamiento) y la seguridad de la cadena de suministro (evaluar las fuentes de datos y los proveedores de etiquetado). El envenenamiento de datos es especialmente preocupante a medida que las organizaciones dependen cada vez más de datos de entrenamiento de terceros y de código abierto.