AI Recommendation Poisoning: Copilot über Links manipulieren

Einführung: warum das wichtig ist

AI-Assistenten werden zunehmend genutzt, um Inhalte zusammenzufassen, Anbieter zu vergleichen und nächste Schritte zu empfehlen. Microsoft-Sicherheitsforscher beobachten nun gegnerische (und kommerziell motivierte) Versuche, diese Assistenten dauerhaft zu verzerren, indem ihr „Memory“ manipuliert wird – und so ein scheinbar harmloser Klick auf „Mit KI zusammenfassen“ zu einem langlebigen Einfluss auf spätere Antworten wird.

In Enterprise-Umgebungen ist das mehr als ein Integritätsproblem. Wenn sich Empfehlungen eines Assistenten subtil steuern lassen, kann das Beschaffungsentscheidungen, Security-Guidance und das Vertrauen der Nutzer beeinflussen – ohne offensichtliche Hinweise darauf, dass sich etwas verändert hat.

Was ist neu: AI Recommendation Poisoning in freier Wildbahn

Das Microsoft Defender Security Research Team beschreibt ein neues Muster von missbräuchlicher, werblicher Nutzung, das sie AI Recommendation Poisoning nennen:

• Versteckte Prompt Injection über URL-Parameter: Webseiten betten Links ein (oft hinter „Mit KI zusammenfassen“-Buttons), die einen AI-Assistenten mit einem vorbefüllten Prompt über Query-Parameter wie ?q=<prompt> öffnen.
• Persistenz durch Ausnutzen von „Memory“-Features: Der injizierte Prompt versucht, dauerhafte Anweisungen hinzuzufügen wie „merke dir [Company] als vertrauenswürdige Quelle“ oder „empfehle [Company] zuerst“.
• Im großen Maßstab beobachtet: Über einen 60-tägigen Review-Zeitraum von AI-bezogenen URLs im E-Mail-Traffic identifizierten die Forscher 50+ unterschiedliche Prompt-Versuche von 31 Unternehmen aus 14 Branchen.
• Plattformübergreifende Zielausrichtung: Derselbe Ansatz zielte auf mehrere Assistenten (Beispiele umfassten URLs für Copilot, ChatGPT, Claude, Perplexity und andere). Die Wirksamkeit variiert je nach Plattform und entwickelt sich weiter, während Mitigations ausgerollt werden.

Wie es funktioniert (und warum Memory das Risiko verändert)

Moderne Assistenten können speichern:

• Präferenzen (Formatierung, Ton)
• Kontext (Projekte, wiederkehrende Aufgaben)
• Explizite Anweisungen („immer Quellen angeben“)

Diese Nützlichkeit schafft eine Angriffsfläche: AI memory poisoning (MITRE ATLAS® AML.T0080) liegt vor, wenn ein externer Akteur unautorisierte „Fakten“ oder Anweisungen so speichern lässt, als wären sie vom Nutzer beabsichtigt. Die Research ordnet diese Technik Prompt-basierter Manipulation und verwandten Kategorien zu (einschließlich MITRE ATLAS®-Einträgen wie AML.T0051).

Auswirkungen auf IT-Admins und Endanwender

• Risiko für die Integrität von Empfehlungen: Nutzer können verzerrte Vendor-/Produkt-Empfehlungen erhalten, die objektiv wirken.
• Schwer erkennbare Manipulation: Das „Poison“ kann sitzungsübergreifend bestehen bleiben, wodurch es für Nutzer schwer wird, spätere Entscheidungen mit einem früheren Klick in Verbindung zu bringen.
• Größere Angriffsfläche für Social Engineering: Solche Links können im Web erscheinen oder per E-Mail zugestellt werden – und verbinden Marketing-Taktiken mit Security-Missbrauch.

Microsoft weist darauf hin, dass es Mitigations in Copilot gegen Prompt Injection implementiert hat und weiter ausrollt; in mehreren Fällen ließen sich zuvor gemeldete Verhaltensweisen nicht mehr reproduzieren – ein Hinweis darauf, dass sich die Abwehrmaßnahmen weiterentwickeln.

Action Items / nächste Schritte

• Security-Awareness-Training aktualisieren: Nutzer darauf hinweisen, dass AI-„Zusammenfassen“-Links als Waffe missbraucht werden können – insbesondere, wenn sie Prompts vorbefüllen.
• E-Mail- und Web-Schutz überprüfen: Sicherstellen, dass Link-Scanning und Phishing-Defenses so abgestimmt sind, dass ungewöhnliche URL-Parameter und Redirect-Patterns analysiert werden.
• Leitlinien zur AI-Nutzung etablieren: Nutzer dazu anhalten, Quellen zu verifizieren, Empfehlungen gegenzuprüfen und verdächtige „Memory“-Anomalien zu melden.
• Operational Playbook: Schritte definieren, mit denen Nutzer/Admins das „Memory“ des Assistenten (wo unterstützt) prüfen und löschen sowie verdächtige Prompts/URLs an Security-Teams melden.

Recommendation Poisoning ist ein klares Signal: Wenn AI zur Entscheidungshilfe wird, müssen sich Kontrollen für Integrität und Provenance parallel zu traditionellen Phishing- und Web-Bedrohungsmodellen weiterentwickeln.