AI Recommendation Poisoning: zagrożenie dla Copilot

Wprowadzenie: dlaczego to ma znaczenie

Asystenci AI są coraz częściej obdarzani zaufaniem, jeśli chodzi o podsumowywanie treści, porównywanie dostawców i rekomendowanie kolejnych kroków. Badacze bezpieczeństwa Microsoft obserwują obecnie wrogie (oraz motywowane komercyjnie) próby trwałego stronnicowania tych asystentów poprzez manipulowanie ich pamięcią — zamieniając pozornie nieszkodliwe kliknięcie „Podsumuj z AI” w długotrwały wpływ na przyszłe odpowiedzi.

W środowiskach enterprise to coś więcej niż problem integralności. Jeśli rekomendacjami asystenta można subtelnie sterować, może to wpływać na decyzje zakupowe, wskazówki dotyczące bezpieczeństwa i zaufanie użytkowników — bez wyraźnych oznak, że cokolwiek się zmieniło.

Co nowego: AI Recommendation Poisoning w praktyce

Zespół Microsoft Defender Security Research opisuje wyłaniający się wzorzec nadużyć promocyjnych, który nazywa AI Recommendation Poisoning:

• Ukryte prompt injection przez parametry URL: Strony WWW osadzają linki (często pod przyciskami „Podsumuj z AI”), które otwierają asystenta AI z wstępnie wypełnionym promptem przy użyciu parametrów zapytania, takich jak ?q=<prompt>.
• Nastawienie na trwałość dzięki funkcjom „memory”: Wstrzyknięty prompt próbuje dodać długotrwałe instrukcje w rodzaju „zapamiętaj [Company] jako zaufane źródło” lub „rekomenduj [Company] jako pierwszą opcję”.
• Obserwowane na dużą skalę: W 60-dniowym przeglądzie URL-i związanych z AI widocznych w ruchu e-mail badacze zidentyfikowali ponad 50 odrębnych prób promptów od 31 firm z 14 branż.
• Celowanie wieloplatformowe: To samo podejście zaobserwowano jako wymierzone w wiele asystentów (przykłady obejmowały URL-e dla Copilot, ChatGPT, Claude, Perplexity i innych). Skuteczność różni się w zależności od platformy i zmienia się wraz z wdrażaniem mitigations.

Jak to działa (i dlaczego pamięć zmienia poziom ryzyka)

Nowoczesne asystenty mogą przechowywać:

• Preferencje (formatowanie, ton)
• Kontekst (projekty, powtarzalne zadania)
• Jawne instrukcje („zawsze cytuj źródła”)

Ta użyteczność tworzy powierzchnię ataku: AI memory poisoning (MITRE ATLAS® AML.T0080) ma miejsce wtedy, gdy podmiot zewnętrzny powoduje zapisanie nieautoryzowanych „faktów” lub instrukcji tak, jakby były intencją użytkownika. Badanie mapuje tę technikę na manipulację opartą na promptach oraz powiązane kategorie (w tym wpisy MITRE ATLAS®, takie jak AML.T0051).

Wpływ na administratorów IT i użytkowników końcowych

• Ryzyko dla integralności rekomendacji: Użytkownicy mogą otrzymywać stronnicowane wskazówki dot. dostawców/produktów, które sprawiają wrażenie obiektywnych.
• Trudna do wykrycia manipulacja: „Trucizna” może utrzymywać się między sesjami, przez co użytkownikom trudno powiązać późniejsze decyzje z wcześniejszym kliknięciem.
• Większa powierzchnia social engineering: Takie linki mogą pojawiać się w sieci lub być dostarczane e-mailem, łącząc taktyki marketingowe z nadużyciami bezpieczeństwa.

Microsoft informuje, że wdrożył i nadal wdraża mitigations w Copilot przeciw prompt injection; w kilku przypadkach wcześniej zgłaszanych zachowań nie dało się już odtworzyć — co wskazuje, że mechanizmy obronne ewoluują.

Działania / kolejne kroki

• Zaktualizuj szkolenia z awareness bezpieczeństwa: Ucz użytkowników, że linki AI do „podsumowania” mogą zostać użyte jako broń, szczególnie jeśli wstępnie wypełniają prompty.
• Przejrzyj ochronę poczty e-mail i sieci: Upewnij się, że skanowanie linków i zabezpieczenia antyphishingowe są dostrojone do analizy nietypowych parametrów URL i wzorców przekierowań.
• Ustal wytyczne korzystania z AI: Zachęcaj użytkowników do weryfikowania źródeł, porównywania rekomendacji i zgłaszania podejrzanych anomalii „memory”.
• Playbook operacyjny: Zdefiniuj kroki dla użytkowników/adminów, aby przeglądać i czyścić pamięć asystenta (tam, gdzie to wspierane), oraz zgłaszać podejrzane prompty/URL-e do zespołów bezpieczeństwa.

Recommendation Poisoning to wyraźny sygnał, że wraz z tym, jak AI staje się warstwą wspierającą decyzje, mechanizmy kontroli integrity i provenance muszą ewoluować równolegle z tradycyjnymi modelami zagrożeń phishingowych i webowych.