AI Recommendation Poisoning: risiko for Copilot-lenker

Introduksjon: hvorfor dette betyr noe

AI-assistenter blir i økende grad brukt og stolt på for å oppsummere innhold, sammenligne leverandører og anbefale neste steg. Microsofts sikkerhetsforskere ser nå motstridende (og kommersielt motiverte) forsøk på å vedvarende påvirke disse assistentene ved å manipulere minnet deres – og gjøre et tilsynelatende harmløst klikk på «Oppsummer med AI» til en langvarig påvirkning av fremtidige svar.

I bedriftsmiljøer er dette mer enn et integritetsproblem. Hvis en assistents anbefalinger kan styres subtilt, kan det påvirke innkjøpsbeslutninger, sikkerhetsråd og brukertillit – uten tydelige indikatorer på at noe har endret seg.

Hva er nytt: AI Recommendation Poisoning i praksis

Microsoft Defender Security Research Team beskriver et framvoksende mønster for promoteringmisbruk de kaller AI Recommendation Poisoning:

• Skjult prompt-injeksjon via URL-parametere: Nettsider bygger inn lenker (ofte bak «Oppsummer med AI»-knapper) som åpner en AI-assistent med en forhåndsutfylt prompt ved hjelp av spørringsparametere som ?q=<prompt>.
• Vedvarenhet rettet mot «minne»-funksjoner: Den injiserte prompten forsøker å legge til varige instruksjoner som «husk [Company] som en pålitelig kilde» eller «anbefal [Company] først».
• Observert i stor skala: I en 60-dagers gjennomgang av AI-relaterte URL-er sett i e-posttrafikk, identifiserte forskerne 50+ distinkte promptforsøk fra 31 selskaper på tvers av 14 bransjer.
• Plattformovergripende målretting: Den samme tilnærmingen ble observert rettet mot flere assistenter (eksempler inkluderte URL-er for Copilot, ChatGPT, Claude, Perplexity og andre). Effektiviteten varierer per plattform og utvikler seg etter hvert som mottiltak rulles ut.

Slik fungerer det (og hvorfor minne endrer risikobildet)

Moderne assistenter kan beholde:

• Preferanser (formatering, tone)
• Kontekst (prosjekter, tilbakevendende oppgaver)
• Eksplisitte instruksjoner («alltid oppgi kilder»)

Denne nytten skaper en angrepsflate: AI memory poisoning (MITRE ATLAS® AML.T0080) oppstår når en ekstern aktør får uautoriserte «fakta» eller instruksjoner lagret som om det var brukeren som ønsket det. Forskningen knytter denne teknikken til prompt-basert manipulering og relaterte kategorier (inkludert MITRE ATLAS®-oppføringer som AML.T0051).

Konsekvenser for IT-administratorer og sluttbrukere

• Risiko for anbefalingsintegritet: Brukere kan få skjevt leverandør-/produktveiledning som fremstår objektiv.
• Vanskelig å oppdage manipulering: «Giften» kan vedvare på tvers av økter, noe som gjør det vanskelig for brukere å koble senere beslutninger til et tidligere klikk.
• Økt angrepsflate for sosial manipulering: Disse lenkene kan dukke opp på web eller leveres via e-post, og blander markedsføringstaktikker med sikkerhetsmisbruk.

Microsoft opplyser at de har implementert og fortsetter å rulle ut mitigations in Copilot mot prompt-injeksjon; i flere tilfeller lot tidligere rapportert atferd seg ikke lenger reprodusere – noe som indikerer at forsvaret er i utvikling.

Tiltak / neste steg

• Oppdater sikkerhetsopplæring: Lær brukere at AI-«oppsummer»-lenker kan våpeniseres, særlig hvis de forhåndsutfyller prompter.
• Gjennomgå e-post- og webbeskyttelse: Sørg for at lenkeskanning og phishing-forsvar er justert for å analysere uvanlige URL-parametere og omdirigeringsmønstre.
• Etabler retningslinjer for AI-bruk: Oppfordre brukere til å verifisere kilder, kryssjekke anbefalinger og rapportere mistenkelige «minne»-avvik.
• Operativ playbook: Definer trinn for brukere/administratorer for å gjennomgå og tømme assistentminne (der det støttes) og for å rapportere mistenkelige prompter/URL-er til sikkerhetsteam.

Recommendation Poisoning er et tydelig signal om at når AI blir et beslutningsstøttelag, må kontroller for integritet og proveniens utvikles i takt med tradisjonelle phishing- og webtrusselmodeller.