L’empoisonnement des données est une catégorie d’attaque adverse qui cible la phase d’entraînement des systèmes d’apprentissage automatique. En injectant des données malveillantes, mal étiquetées ou soigneusement conçues dans les jeux de données d’entraînement, les attaquants peuvent manipuler le comportement du modèle, créer des portes dérobées cachées, réduire l’exactitude du modèle ou introduire des biais ciblés.
Les types d’attaques par empoisonnement des données comprennent : l’inversion d’étiquettes (modifier les étiquettes correctes des exemples d’entraînement pour provoquer une mauvaise classification), les attaques par porte dérobée (insérer des motifs déclencheurs qui provoquent un comportement spécifique du modèle lorsqu’ils sont présents dans les entrées), les attaques à étiquette propre (ajouter des données correctement étiquetées mais stratégiquement choisies qui déplacent les frontières de décision) et l’empoisonnement par gradient (optimiser les échantillons empoisonnés pour maximiser leur impact sur l’entraînement du modèle).
Les vecteurs d’attaque de l’empoisonnement des données comprennent : la compromission des pipelines de collecte de données, l’apport de données empoisonnées à des jeux de données participatifs, la manipulation des données d’entraînement extraites du web, les menaces internes dans les équipes d’étiquetage des données, les attaques de la chaîne d’approvisionnement sur les jeux de données de pré-entraînement, et l’exploitation des processus d’augmentation de données ou de génération de données synthétiques.
Les stratégies de défense en entreprise comprennent : le suivi de la provenance des données (maintenir une chaîne de traçabilité pour toutes les données d’entraînement), la validation des données et la détection d’anomalies (identifier les valeurs statistiquement aberrantes dans les jeux de données d’entraînement), des méthodes d’entraînement robustes (des algorithmes résistants aux données empoisonnées), l’assainissement des données (filtrer les échantillons suspects avant l’entraînement), les tests de comportement du modèle (valider les sorties du modèle dans divers scénarios après l’entraînement) et la sécurité de la chaîne d’approvisionnement (évaluer les sources de données et les prestataires d’étiquetage). L’empoisonnement des données est particulièrement préoccupant à mesure que les organisations s’appuient de plus en plus sur des données d’entraînement tierces et open source.