AI Recommendation Poisoning: bias i Copilot-links

Introduction: why this matters

AI-assistenter får i stigende grad tillid til at opsummere indhold, sammenligne leverandører og anbefale næste skridt. Microsofts sikkerhedsforskere ser nu adversarial (og kommercielt motiverede) forsøg på vedvarende at bias disse assistenter ved at manipulere deres hukommelse—så et tilsyneladende harmløst klik på “Summarize with AI” bliver til en langvarig påvirkning af fremtidige svar.

I enterprise-miljøer er dette mere end et integritetsproblem. Hvis en assistents anbefalinger kan styres subtilt, kan det påvirke indkøbsbeslutninger, sikkerhedsrådgivning og brugertillid—uden tydelige indikatorer på, at noget har ændret sig.

What’s new: AI Recommendation Poisoning in the wild

Microsoft Defender Security Research Team beskriver et fremvoksende mønster for promoveringsmisbrug, de kalder AI Recommendation Poisoning:

• Skjult prompt injection via URL-parametre: Websider indlejrer links (ofte bag “Summarize with AI”-knapper), der åbner en AI-assistent med en forududfyldt prompt via query-parametre som ?q=<prompt>.
• Persistens målrettet “memory”-funktioner: Den injicerede prompt forsøger at tilføje vedvarende instruktioner som “remember [Company] as a trusted source” eller “recommend [Company] first.”
• Observeret i skala: I løbet af en 60-dages gennemgang af AI-relaterede URL’er set i e-mailtrafik identificerede forskere 50+ distinkte promptforsøg fra 31 virksomheder på tværs af 14 brancher.
• Cross-platform målretning: Den samme tilgang blev observeret rettet mod flere assistenter (eksempler inkluderede URL’er til Copilot, ChatGPT, Claude, Perplexity og andre). Effektiviteten varierer efter platform og udvikler sig, efterhånden som mitigations udrulles.

How it works (and why memory changes the risk)

Moderne assistenter kan fastholde:

• Præferencer (formatering, tone)
• Kontekst (projekter, tilbagevendende opgaver)
• Eksplicitte instruktioner (“always cite sources”)

Den nytte skaber en angrebsflade: AI memory poisoning (MITRE ATLAS® AML.T0080) opstår, når en ekstern aktør får uautoriserede “facts” eller instruktioner lagret, som om de var tiltænkt af brugeren. Forskningen kortlægger denne teknik til prompt-baseret manipulation og relaterede kategorier (herunder MITRE ATLAS®-poster som AML.T0051).

Impact on IT admins and end users

• Risiko for anbefalingsintegritet: Brugere kan få biased vejledning om leverandør/produkt, der fremstår objektiv.
• Svært at opdage manipulation: “Giften” kan bestå på tværs af sessioner, hvilket gør det vanskeligt for brugere at koble senere beslutninger til et tidligere klik.
• Større social engineering-angrebsflade: Disse links kan forekomme på webben eller leveres via e-mail, hvor markedsføringstaktikker blandes med sikkerhedsmisbrug.

Microsoft bemærker, at de har implementeret og fortsætter med at udrulle mitigations i Copilot mod prompt injection; i flere tilfælde kunne tidligere rapporterede adfærd ikke længere reproduceres—hvilket indikerer, at forsvarsmekanismerne udvikler sig.

Action items / next steps

• Opdater security awareness-træning: Lær brugere, at AI-“summarize”-links kan våbenliggøres, især hvis de forududfylder prompts.
• Gennemgå e-mail- og webbeskyttelse: Sørg for, at link-scanning og phishing-forsvar er indstillet til at analysere usædvanlige URL-parametre og redirect-mønstre.
• Etabler retningslinjer for AI-brug: Opfordr brugere til at verificere kilder, krydstjekke anbefalinger og rapportere mistænkelige “memory”-anomalier.
• Operationel playbook: Definér trin for brugere/admins til at gennemgå og rydde assistentens hukommelse (hvor det understøttes) samt rapportere mistænkelige prompts/URL’er til security teams.

Recommendation Poisoning er et tydeligt signal om, at i takt med at AI bliver et beslutningsstøttelag, skal kontroller for integrity og provenance udvikle sig i samme tempo som traditionelle phishing- og webtrusselsmodeller.