Les mêmes outils d’IA que vos développeurs adorent sont utilisés pour les pirater
Il y a une ironie particulière dans l'actualité de la sécurité cette semaine qui mérite d'être soulignée. Le 22 avril, des chercheurs ont révélé qu'un groupe de hackers nord-coréens parrainé par l'État avait volé 12 millions de dollars à des développeurs crypto en trois mois, utilisant ChatGPT et Cursor pour écrire leur malware. Puis, le 30 avril, PyTorch Lightning, l'un des frameworks IA/ML les plus populaires au monde, a été compromis dans une attaque de la chaîne d'approvisionnement visant à voler des identifiants.
Même semaine. Deux vecteurs de menace différents. Un point commun : les outils d'IA ne sont plus seulement votre couche de productivité. Ils sont la surface d'attaque.
---
Le malware "Vibe Coding" est désormais une réalité
Commençons par HexagonalRodent, le groupe de hackers nord-coréens au nom malheureux profilé par Expel fin avril. Les chercheurs ont découvert quelque chose qui aurait semblé satirique il y a deux ans : des hackers utilisant des outils d'IA pour "vibe coder" leur malware.
Pour contexte : le vibe coding est la pratique qui consiste à demander à une IA d'écrire un logiciel fonctionnel sans vraiment comprendre ce que l'on construit. C’est ce qui a fait que des non-programmeurs se sentent soudain développeurs. Il s’avère que cela fait aussi des non-programmeurs des hackers.
Selon la recherche, HexagonalRodent a utilisé ChatGPT et Cursor pour écrire un malware volant des identifiants, puis a utilisé des outils de design IA distincts pour créer de faux sites d'entreprise convaincants. Ils approchaient les développeurs crypto avec de fausses offres d'emploi, les incitaient à télécharger une "mission de codage" qui était en réalité un malware, et vidaient leurs portefeuilles. Le butin : 12 millions de dollars sur environ 2 000 machines compromises.
Le groupe n'était pas sophistiqué. C’est là tout le problème.
Marcus Hutchins, le chercheur en sécurité qui a arrêté WannaCry, l’a dit clairement : "Ces opérateurs n'ont pas les compétences pour écrire du code. Ils n'ont pas les compétences pour mettre en place une infrastructure. L'IA leur permet en fait de faire des choses qu'ils ne pourraient pas faire autrement."
Les hackers ont même laissé leur historique de prompts ChatGPT exposé sur une infrastructure non sécurisée, ce qui a permis aux chercheurs de confirmer exactement quels outils d'IA ils avaient utilisés. Les prompts étaient apparemment pleins de fautes d'orthographe et d'erreurs grammaticales, les humains derrière cette campagne ne pouvaient vraiment pas écrire de code fonctionnel sans l'aide de l'IA. Et pourtant, ils ont réussi un vol de 12 millions de dollars.
---
Pendant ce temps, le framework de confiance de votre équipe IA a été compromis
Si l'histoire nord-coréenne concerne l'IA utilisée comme arme offensive, l'affaire PyTorch Lightning est plus subtile et sans doute plus alarmante pour les équipes de sécurité d'entreprise.
Le 30 avril, plusieurs sociétés de sécurité, Aikido Security, OX Security, Socket et StepSecurity, ont simultanément signalé que les versions 2.6.2 et 2.6.3 du package Python `lightning` avaient été compromises. PyTorch Lightning est largement utilisé dans le développement IA et ML en entreprise. C’est un package que l’on retrouve dans les environnements data science, les pipelines d’entraînement de modèles et les postes de travail des développeurs dans les banques, les entreprises de santé et les sociétés tech.
Les versions compromises contenaient un malware volant des identifiants. L'attaque est liée à une campagne plus large de la chaîne d'approvisionnement appelée Mini Shai-Hulud qui avait déjà touché des packages npm liés à SAP.
Les deux versions ont depuis été retirées, mais voici la question que toute équipe de sécurité devrait se poser maintenant : combien de vos développeurs ont installé ces versions dans la fenêtre de deux jours entre publication et détection ? Et plus important encore, savez-vous quels packages Python vos équipes IA/ML utilisent ?
---
Le problème de visibilité dont personne ne veut parler
Ces deux incidents, pris ensemble, révèlent un écart qui se creuse depuis 18 mois et que la plupart des équipes de sécurité d'entreprise n'ont toujours pas correctement comblé.
Vos développeurs utilisent des outils d'IA. Beaucoup d'entre eux. Cursor, ChatGPT, GitHub Copilot, Claude, Codeium, et la liste ne cesse de s'allonger. Vos équipes data science utilisent PyTorch, Lightning, les bibliothèques Hugging Face, et quel que soit le framework à la mode ce trimestre. C’est globalement positif. Les outils d'IA rendent vos équipes plus productives.
Mais votre équipe de sécurité a probablement très peu de visibilité sur cette activité. Elle ne sait pas quels outils les employés ont téléchargés, quels comptes ils utilisent, quelles données ils transmettent à ces outils, ni si les outils eux-mêmes ont été altérés.
C’est le même problème d’IA fantôme dont les responsables de la sécurité d’entreprise ont été avertis dans le contexte des fuites de données sensibles via ChatGPT et Copilot. Mais cela évolue. La menace n’est plus seulement « des employés envoyant des documents confidentiels à un chatbot IA ». C’est :
- Des packages IA compromis volant des identifiants sur les machines des développeurs
- Des sites de phishing générés par IA, convaincants et professionnels car construits avec de vrais outils de design IA
- Des malwares suffisamment soignés pour échapper à la détection car débogués de manière itérative par un modèle de langage
- De fausses offres d'emploi ciblant vos développeurs sur LinkedIn, créées par IA pour être personnalisées et crédibles
---
L’écart de détection devient de plus en plus difficile à combler
Ce qui rend la campagne HexagonalRodent particulièrement inquiétante, c’est le vecteur. Ils n’ont pas envoyé des emails de phishing en masse. Ils ont ciblé des développeurs individuels, notamment ceux travaillant sur de petits lancements crypto et des projets Web3, avec des offres d’emploi personnalisées. Les fausses entreprises avaient des sites web complets, des textes professionnels et des annonces d’emploi crédibles.
Personnaliser une campagne de phishing à grande échelle nécessitait auparavant beaucoup de travail humain ou de se contenter d’emails massifs évidents. Maintenant, on peut utiliser l’IA pour générer efficacement des appâts personnalisés, puis un autre outil IA pour construire l’infrastructure qui rend l’appât crédible.
Pour les équipes de sécurité d’entreprise, cela signifie que les stratégies de détection basées sur des heuristiques du type « ça ne semble pas légitime » sont de moins en moins efficaces. Les attaques paraissent légitimes. Parce qu’elles ont été construites avec les mêmes outils que vos employés utilisent pour faire un travail légitime.
---
Que faire concrètement ?
Quelques actions pratiques à envisager :
Connaissez les outils d’IA présents dans votre environnement. Cela semble basique, mais la plupart des entreprises n’ont pas une vision complète. L’IA fantôme, les outils d’IA utilisés par les employés sans la connaissance de l’informatique ou de la sécurité, reste un angle mort important. Si vous ne gérez que les outils approuvés (Copilot, licences ChatGPT entreprise validées), vous passez à côté de beaucoup.
Traitez les packages IA/ML comme tout autre risque de chaîne d’approvisionnement. La compromission de PyTorch Lightning a été détectée rapidement car plusieurs fournisseurs de sécurité surveillaient PyPI. Vos processus internes ne surveillent probablement pas PyPI aussi étroitement. Les outils d’analyse de composition logicielle (SCA) couvrant les packages Python, ainsi que les politiques de verrouillage des versions de packages dans les projets IA/ML, sont désormais essentiels.
Formez spécifiquement les développeurs, pas seulement « tous les employés ». La campagne HexagonalRodent ciblait les développeurs. Pas parce qu’ils sont moins conscients de la sécurité, mais parce qu’ils sont des cibles de grande valeur qui téléchargent et exécutent régulièrement du code provenant d’inconnus sur Internet. C’est un comportement normal de développeur, open source, gestionnaires de packages, défis de codage. Une formation à la sécurité qui ne prend pas en compte les vecteurs de menace spécifiques aux développeurs ne sera pas efficace.
Surveillez la qualité du phishing généré par IA, pas seulement le volume. Les filtres anti-spam et les outils de détection de phishing ont été conçus à une époque où le volume et les motifs évidents étaient des signaux fiables. Un email de spear-phishing conçu par IA ciblant un développeur spécifique pour un rôle précis dans une fausse entreprise avec un site web fonctionnel constitue une classe de menace différente.
---
La vision d’ensemble
Ce qui m’a marqué dans l’histoire HexagonalRodent, ce n’est pas les 12 millions de dollars, c’est les prompts exposés. Ces hackers ont laissé leur historique de conversation ChatGPT sur une infrastructure non sécurisée, plein de fautes de frappe et de demandes de débogage itératif. Ce n’étaient pas des hackers qui avaient appris à utiliser l’IA. C’étaient des personnes qui, à en juger par tout, ne pouvaient pas faire ce travail sans l’IA.
Ce n’est pas rassurant. C’est la nouvelle norme. L’IA a abaissé le seuil requis pour exécuter une cyberattaque de niveau professionnel. Les personnes qui ciblent vos développeurs et votre infrastructure IA/ML n’ont pas besoin d’être compétentes, elles ont juste besoin d’accéder aux mêmes outils que vos employés utilisent déjà.
Votre posture de sécurité doit en tenir compte.
---
Aona aide les entreprises à découvrir, gouverner et surveiller l’utilisation des outils IA dans leur workforce, y compris l’activité IA fantôme que les équipes de sécurité ne peuvent pas voir. [Réservez une démo](/book-demo) pour voir ce qui tourne dans votre environnement.
