Empoisonnement IA des recommandations : risque Copilot

Introduction : pourquoi c’est important

Les assistants IA sont de plus en plus sollicités pour résumer du contenu, comparer des fournisseurs et recommander des actions. Des chercheurs en sécurité Microsoft observent désormais des tentatives adverses (et motivées commercialement) visant à biaiser durablement ces assistants en manipulant leur mémoire — transformant un clic apparemment anodin sur « Summarize with AI » en une influence de long terme sur les réponses futures.

En environnement d’entreprise, cela dépasse un simple enjeu d’intégrité. Si les recommandations d’un assistant peuvent être subtilement orientées, cela peut affecter les décisions d’achat, les conseils de sécurité et la confiance des utilisateurs — sans indicateur évident qu’un changement s’est produit.

Quoi de neuf : l’AI Recommendation Poisoning observé sur le terrain

La Microsoft Defender Security Research Team décrit un schéma d’abus promotionnel émergent qu’elle appelle AI Recommendation Poisoning :

• Injection de prompt cachée via des paramètres d’URL : des pages web intègrent des liens (souvent derrière des boutons « Summarize with AI ») qui ouvrent un assistant IA avec un prompt prérempli via des paramètres de requête comme ?q=<prompt>.
• Ciblage de la persistance via des fonctionnalités de « memory » : le prompt injecté tente d’ajouter des instructions durables telles que « remember [Company] as a trusted source » ou « recommend [Company] first ».
• Observé à grande échelle : sur une période de 60 jours d’examen d’URL liées à l’IA vues dans le trafic email, les chercheurs ont identifié 50+ tentatives de prompt distinctes provenant de 31 entreprises réparties dans 14 secteurs.
• Ciblage multiplateforme : la même approche a été observée en visant plusieurs assistants (les exemples incluaient des URL pour Copilot, ChatGPT, Claude, Perplexity et d’autres). L’efficacité varie selon les plateformes et évolue au fur et à mesure du déploiement des mesures d’atténuation.

Comment cela fonctionne (et pourquoi la memory change le niveau de risque)

Les assistants modernes peuvent conserver :

• Préférences (mise en forme, ton)
• Contexte (projets, tâches récurrentes)
• Instructions explicites (« always cite sources »)

Cette utilité crée une surface d’attaque : l’empoisonnement de la mémoire IA (MITRE ATLAS® AML.T0080) se produit lorsqu’un acteur externe fait stocker des « faits » ou des instructions non autorisés comme s’ils avaient été voulus par l’utilisateur. L’étude associe cette technique à la manipulation basée sur les prompts et à des catégories connexes (y compris des entrées MITRE ATLAS® telles que AML.T0051).

Impact pour les administrateurs IT et les utilisateurs finaux

• Risque d’intégrité des recommandations : les utilisateurs peuvent recevoir des conseils biaisés sur des fournisseurs/produits, présentés comme objectifs.
• Manipulation difficile à détecter : le « poison » peut persister d’une session à l’autre, rendant difficile le lien entre des décisions ultérieures et un clic antérieur.
• Surface accrue pour l’ingénierie sociale : ces liens peuvent apparaître sur le web ou être délivrés par email, mélangeant des tactiques marketing avec des abus de sécurité.

Microsoft indique avoir mis en place et poursuivre le déploiement de mitigations dans Copilot contre l’injection de prompt ; dans plusieurs cas, des comportements précédemment signalés n’étaient plus reproductibles — signe que les défenses évoluent.

Actions / prochaines étapes

• Mettre à jour la sensibilisation sécurité : apprendre aux utilisateurs que les liens IA de type « summarize » peuvent être détournés, surtout lorsqu’ils préremplissent des prompts.
• Revoir les protections email et web : s’assurer que l’analyse des liens et les défenses anti-phishing sont configurées pour examiner des paramètres d’URL inhabituels et des schémas de redirection.
• Établir des consignes d’usage de l’IA : encourager la vérification des sources, le recoupement des recommandations et le signalement des anomalies de « memory ».
• Playbook opérationnel : définir les étapes permettant aux utilisateurs/admins de consulter et d’effacer la memory de l’assistant (lorsque pris en charge) et de signaler les prompts/URL suspects aux équipes de sécurité.

Recommendation Poisoning est un signal clair : à mesure que l’IA devient une couche d’aide à la décision, les contrôles d’intégrité et de provenance doivent évoluer en parallèle des modèles de menace classiques liés au phishing et au web.