AI Recommendation Poisoning i Copilot: ny säkerhetsrisk

Introduktion: varför detta spelar roll

AI-assistenter får i allt högre grad förtroendet att sammanfatta innehåll, jämföra leverantörer och rekommendera nästa steg. Microsofts säkerhetsforskare ser nu fientliga (och kommersiellt motiverade) försök att varaktigt snedvrida dessa assistenter genom att manipulera deras minne – och förvandla ett till synes harmlöst klick på ”Sammanfatta med AI” till en långlivad påverkan på framtida svar.

I företagsmiljöer är detta mer än en integritetsfråga. Om en assistents rekommendationer kan styras subtilt kan det påverka inköpsbeslut, säkerhetsråd och användarnas förtroende – utan tydliga indikatorer på att något har förändrats.

Vad är nytt: AI Recommendation Poisoning i det vilda

Microsoft Defender Security Research Team beskriver ett framväxande mönster av promotivt missbruk som de kallar AI Recommendation Poisoning:

• Dold prompt injection via URL-parametrar: Webbsidor bäddar in länkar (ofta bakom knappar som ”Sammanfatta med AI”) som öppnar en AI-assistent med en förifylld prompt via frågeparametrar som ?q=<prompt>.
• Persistens med fokus på ”memory”-funktioner: Den injicerade prompten försöker lägga till varaktiga instruktioner som ”kom ihåg [Company] som en betrodd källa” eller ”rekommendera [Company] först.”
• Observerat i skala: Under en 60-dagars granskningsperiod av AI-relaterade URL:er som sågs i e-posttrafik identifierade forskarna 50+ distinkta promptförsök från 31 företag inom 14 branscher.
• Plattformsövergripande målinriktning: Samma angreppssätt observerades riktat mot flera assistenter (exempel inkluderade URL:er för Copilot, ChatGPT, Claude, Perplexity och andra). Effekten varierar per plattform och förändras i takt med att motåtgärder rullas ut.

Hur det fungerar (och varför minne förändrar risken)

Moderna assistenter kan behålla:

• Preferenser (formatering, ton)
• Kontext (projekt, återkommande uppgifter)
• Explicita instruktioner (”ange alltid källor”)

Den nyttan skapar en angreppsyta: AI memory poisoning (MITRE ATLAS® AML.T0080) uppstår när en extern aktör får obehöriga ”fakta” eller instruktioner att lagras som om de var avsedda av användaren. Forskningen kopplar denna teknik till promptbaserad manipulation och relaterade kategorier (inklusive MITRE ATLAS®-poster som AML.T0051).

Påverkan på IT-administratörer och slutanvändare

• Risk för rekommendationsintegritet: Användare kan få partisk vägledning om leverantörer/produkter som framstår som objektiv.
• Svårupptäckt manipulation: ”Giftet” kan bestå mellan sessioner, vilket gör det svårt för användare att koppla senare beslut till ett tidigare klick.
• Ökad yta för social engineering: Dessa länkar kan finnas på webben eller levereras via e-post, vilket blandar marknadsföringstaktiker med säkerhetsmissbruk.

Microsoft noterar att man har implementerat och fortsätter att distribuera mitigations in Copilot mot prompt injection; i flera fall gick tidigare rapporterade beteenden inte längre att återskapa – vilket tyder på att skydden utvecklas.

Åtgärdspunkter / nästa steg

• Uppdatera utbildning i säkerhetsmedvetenhet: Lär användare att AI-länkar för ”sammanfatta” kan vapeniseras, särskilt om de förifyller prompts.
• Se över e-post- och webbskydd: Säkerställ att länkskanning och skydd mot phishing är justerade för att analysera ovanliga URL-parametrar och omdirigeringsmönster.
• Etablera riktlinjer för AI-användning: Uppmuntra användare att verifiera källor, korsgranska rekommendationer och rapportera misstänkta ”memory”-avvikelser.
• Operativ playbook: Definiera steg för användare/administratörer att granska och rensa assistentens minne (där det stöds) samt att rapportera misstänkta prompts/URL:er till säkerhetsteam.

Recommendation Poisoning är en tydlig signal om att när AI blir ett beslutsstöds-lager måste kontroller för integritet och proveniens utvecklas i takt med traditionella hotmodeller för phishing och webbhot.