AI Recommendation Poisoning: riziko pro Copilot

Úvod: proč je to důležité

AI asistenti jsou čím dál častěji považováni za důvěryhodné při shrnování obsahu, porovnávání dodavatelů a doporučování dalších kroků. Bezpečnostní výzkumníci Microsoft nyní pozorují škodlivé (a komerčně motivované) pokusy trvale zkreslit tyto asistenty manipulací s jejich pamětí—takže zdánlivě neškodné kliknutí na „Shrnout pomocí AI“ se může změnit v dlouhodobý vliv na budoucí odpovědi.

V enterprise prostředích jde o víc než jen problém integrity. Pokud lze doporučení asistenta nenápadně směrovat, může to ovlivnit rozhodnutí o nákupu, bezpečnostní doporučení i důvěru uživatelů—bez zjevných signálů, že se něco změnilo.

Co je nového: AI Recommendation Poisoning v praxi

Tým Microsoft Defender Security Research popisuje vznikající vzorec propagačního zneužití, který nazývá AI Recommendation Poisoning:

• Skrytá prompt injection přes parametry URL: Webové stránky vkládají odkazy (často za tlačítky „Shrnout pomocí AI“), které otevřou AI asistenta s předvyplněným promptem pomocí query parametrů jako ?q=<prompt>.
• Zacílení na perzistenci pomocí funkcí „memory“: Vložený prompt se snaží přidat trvalé instrukce typu „pamatuj si [Company] jako důvěryhodný zdroj“ nebo „doporuč [Company] jako první“.
• Pozorováno ve velkém měřítku: Během 60denního období analýzy URL souvisejících s AI, které se objevily v e-mailovém provozu, výzkumníci identifikovali 50+ odlišných pokusů o prompt od 31 společností napříč 14 odvětvími.
• Cílení napříč platformami: Stejný přístup byl pozorován při pokusech ovlivnit více asistentů (příklady zahrnovaly URL pro Copilot, ChatGPT, Claude, Perplexity a další). Účinnost se liší podle platformy a mění se s tím, jak se zavádějí mitigace.

Jak to funguje (a proč „memory“ mění riziko)

Moderní asistenti mohou uchovávat:

• Preference (formátování, tón)
• Kontext (projekty, opakující se úkoly)
• Explicitní instrukce („vždy uváděj zdroje“)

Tato užitečnost vytváří prostor pro útok: AI memory poisoning (MITRE ATLAS® AML.T0080) nastává, když externí aktér způsobí uložení neautorizovaných „faktů“ nebo instrukcí tak, jako by byly zamýšlené uživatelem. Výzkum tuto techniku mapuje na manipulaci založenou na prompech a související kategorie (včetně položek MITRE ATLAS® jako AML.T0051).

Dopad na IT administrátory a koncové uživatele

• Riziko integrity doporučení: Uživatelé mohou dostávat zkreslené rady ohledně dodavatelů/produktů, které působí objektivně.
• Obtížně detekovatelná manipulace: „Jed“ může přetrvat napříč relacemi, takže je pro uživatele těžké propojit pozdější rozhodnutí s dřívějším kliknutím.
• Rozšíření prostoru pro social engineering: Tyto odkazy se mohou objevit na webu nebo být doručeny e-mailem, čímž se marketingové taktiky prolínají s bezpečnostním zneužitím.

Microsoft uvádí, že implementoval a nadále nasazuje mitigace v Copilot proti prompt injection; v několika případech již dříve nahlášené chování nešlo znovu reprodukovat—což naznačuje, že obrana se vyvíjí.

Akční kroky / další postup

• Aktualizujte školení bezpečnostního povědomí: Učte uživatele, že AI odkazy pro „shrnutí“ mohou být zneužity jako zbraň, zejména pokud předvyplňují prompty.
• Prověřte ochranu e-mailu a webu: Zajistěte, aby link-scanning a ochrana proti phishingu byly nastavené na analýzu neobvyklých parametrů URL a vzorců přesměrování.
• Stanovte pravidla pro používání AI: Povzbuzujte uživatele k ověřování zdrojů, křížové kontrole doporučení a hlášení podezřelých anomálií v „memory“.
• Provozní playbook: Definujte kroky pro uživatele/administrátory, jak zkontrolovat a vymazat paměť asistenta (kde je to podporováno) a jak hlásit podezřelé prompty/URL bezpečnostním týmům.

Recommendation Poisoning je jasným signálem, že jak se AI stává vrstvou pro podporu rozhodování, musí se řízení integrity a provenance vyvíjet spolu s tradičními modely phishingu a webových hrozeb.