AI Recommendation Poisoning: rizik za Copilot

Uvod: zašto je ovo važno

AI asistenti se sve više smatraju pouzdanim za sažimanje sadržaja, poređenje dobavljača i preporuku narednih koraka. Microsoft bezbednosni istraživači sada uočavaju protivničke (i komercijalno motivisane) pokušaje da se ovi asistenti trajano pristrase manipulacijom njihove memorije—pretvarajući naizgled bezazlen klik na „Summarize with AI” u dugotrajan uticaj na buduće odgovore.

U enterprise okruženjima, ovo je više od pitanja integriteta. Ako se preporuke asistenta mogu suptilno usmeravati, to može uticati na odluke o nabavci, bezbednosne smernice i poverenje korisnika—bez očiglednih indikatora da se bilo šta promenilo.

Šta je novo: AI Recommendation Poisoning u praksi

Microsoft Defender Security Research Team opisuje novi obrazac promotivne zloupotrebe koji nazivaju AI Recommendation Poisoning:

• Skrivena prompt injekcija kroz URL parametre: Veb stranice ugrađuju linkove (često iza dugmadi „Summarize with AI”) koji otvaraju AI asistenta sa unapred popunjenim promptom koristeći query parametre kao što je ?q=<prompt>.
• Ciljanje postojanosti kroz funkcije „memory”: Umetnuti prompt pokušava da doda trajne instrukcije kao što su „remember [Company] as a trusted source” ili „recommend [Company] first.”
• Uočeno u velikom obimu: Tokom 60-dnevnog perioda pregleda AI-related URL-ova viđenih u email saobraćaju, istraživači su identifikovali 50+ različitih pokušaja promptova od 31 kompanije u 14 industrija.
• Ciljanje više platformi: Isti pristup je uočen kao usmeren ka više asistenata (primeri su uključivali URL-ove za Copilot, ChatGPT, Claude, Perplexity i druge). Efikasnost varira po platformi i menja se kako se uvode mitigations.

Kako funkcioniše (i zašto „memory” menja rizik)

Moderni asistenti mogu da zadrže:

• Preferences (formatiranje, ton)
• Context (projekti, ponavljajući zadaci)
• Explicit instructions („always cite sources”)

Ta korisnost stvara površinu napada: AI memory poisoning (MITRE ATLAS® AML.T0080) nastaje kada eksterni akter izazove da se neovlašćene „činjenice” ili instrukcije sačuvaju kao da ih je korisnik nameravao. Istraživanje mapira ovu tehniku na prompt-based manipulaciju i povezane kategorije (uključujući MITRE ATLAS® unose kao što je AML.T0051).

Uticaj na IT administratore i krajnje korisnike

• Rizik po integritet preporuka: Korisnici mogu dobijati pristrasne smernice za dobavljače/proizvode koje deluju objektivno.
• Teško uočljiva manipulacija: „Otrov” može opstati kroz sesije, zbog čega je korisnicima teško da kasnije odluke povežu sa ranijim klikom.
• Povećana površina za social engineering: Ovi linkovi mogu da se pojave na vebu ili da se isporuče putem email-a, spajajući marketinške taktike sa bezbednosnom zloupotrebom.

Microsoft navodi da je implementirao i nastavlja da uvodi mitigations u Copilot protiv prompt injection; u nekoliko slučajeva ranije prijavljena ponašanja više nisu mogla da se reprodukuju—što ukazuje da se odbrane razvijaju.

Action items / sledeći koraci

• Ažurirajte security awareness obuku: Naučite korisnike da AI „summarize” linkovi mogu da budu oružje, posebno ako unapred popunjavaju promptove.
• Proverite email i web zaštite: Osigurajte da su odbrane za skeniranje linkova i phishing podešene da analiziraju neuobičajene URL parametre i obrasce preusmeravanja.
• Uspostavite smernice za korišćenje AI: Podstaknite korisnike da verifikuju izvore, unakrsno provere preporuke i prijave sumnjive „memory” anomalije.
• Operativni playbook: Definišite korake za korisnike/admin-e da pregledaju i obrišu memoriju asistenta (gde je podržano) i da prijave sumnjive promptove/URL-ove bezbednosnim timovima.

Recommendation Poisoning je jasan signal da, kako AI postaje sloj za podršku odlučivanju, kontrole integrity i provenance moraju da evoluiraju zajedno sa tradicionalnim modelima phishing-a i web pretnji.