Отравление рекомендаций ИИ: как ссылки влияют на Copilot

Введение: почему это важно

ИИ-помощникам все чаще доверяют суммирование контента, сравнение поставщиков и рекомендации дальнейших шагов. Исследователи безопасности Microsoft теперь наблюдают враждебные (а также коммерчески мотивированные) попытки долговременно смещать ответы этих помощников, манипулируя их памятью — превращая на вид безобидный клик по «Суммировать с помощью ИИ» в длительное влияние на будущие ответы.

В корпоративных средах это больше, чем вопрос целостности. Если рекомендации помощника можно незаметно направлять, это может повлиять на решения по закупкам, советы по безопасности и доверие пользователей — без явных признаков того, что что-то изменилось.

Что нового: AI Recommendation Poisoning в реальных атаках

Команда Microsoft Defender Security Research Team описывает формирующийся шаблон промо-абьюза, который они называют AI Recommendation Poisoning:

• Скрытая prompt injection через параметры URL: веб-страницы встраивают ссылки (часто за кнопками «Summarize with AI»), которые открывают ИИ-помощника с заранее заполненным prompt с использованием параметров запроса вроде ?q=<prompt>.
• Нацеливание на устойчивость через функции “memory”: внедренный prompt пытается добавить долговременные инструкции, такие как «remember [Company] as a trusted source» или «recommend [Company] first».
• Наблюдалось в масштабе: за 60-дневный период анализа AI-related URL, замеченных в email-трафике, исследователи выявили 50+ отдельных попыток prompt от 31 компании из 14 отраслей.
• Кроссплатформенное нацеливание: тот же подход наблюдался в отношении нескольких помощников (в примерах фигурировали URL для Copilot, ChatGPT, Claude, Perplexity и других). Эффективность различается по платформам и меняется по мере внедрения mitigations.

Как это работает (и почему “memory” меняет уровень риска)

Современные помощники могут сохранять:

• Preferences (форматирование, тон)
• Context (проекты, повторяющиеся задачи)
• Explicit instructions («always cite sources»)

Эта полезность создает поверхность атаки: AI memory poisoning (MITRE ATLAS® AML.T0080) происходит, когда внешний субъект приводит к сохранению несанкционированных «фактов» или инструкций так, как будто их намеренно задал пользователь. Исследование сопоставляет эту технику с prompt-based манипуляциями и смежными категориями (включая записи MITRE ATLAS® вроде AML.T0051).

Влияние на IT-администраторов и конечных пользователей

• Риск целостности рекомендаций: пользователи могут получать смещенные советы по вендорам/продуктам, которые выглядят объективными.
• Сложно обнаруживаемая манипуляция: «яд» может сохраняться между сессиями, из-за чего пользователям трудно связать последующие решения с более ранним кликом.
• Рост поверхности для social engineering: такие ссылки могут встречаться в вебе или доставляться по email, смешивая маркетинговые тактики со злоупотреблениями в области безопасности.

Microsoft отмечает, что внедрила и продолжает разворачивать mitigations в Copilot против prompt injection; в нескольких случаях ранее сообщавшиеся поведения больше не удавалось воспроизвести — что указывает на развитие защит.

Действия / следующие шаги

• Обновите обучение по security awareness: объясните пользователям, что AI-ссылки для «суммирования» могут быть превращены в оружие, особенно если они подставляют заранее заполненные prompt.
• Проверьте защиты email и веба: убедитесь, что средства сканирования ссылок и защиты от фишинга настроены на анализ необычных параметров URL и паттернов редиректов.
• Сформируйте руководство по использованию ИИ: рекомендуйте пользователям проверять источники, перепроверять рекомендации и сообщать о подозрительных аномалиях “memory”.
• Операционный playbook: определите шаги для пользователей/админов по проверке и очистке памяти помощника (где поддерживается), а также по эскалации подозрительных prompt/URL в команды безопасности.

Recommendation Poisoning — явный сигнал, что по мере превращения ИИ в слой поддержки принятия решений средства контроля целостности и происхождения (provenance) должны развиваться вместе с традиционными моделями фишинга и веб-угроз.