Microsoft Research: Backdoors in Open-Weight-LMs erkennen

Einführung: Warum das wichtig ist

Open-Weight-Sprachmodelle werden in Unternehmen zunehmend für Copilots, Automatisierung und Entwicklerproduktivität eingesetzt. Diese Einführung erweitert die Software-Supply-Chain um Model Weights und Trainings-Pipelines – und schafft neue Manipulationsmöglichkeiten, die durch klassische Tests möglicherweise nicht erkannt werden. Microsofts neue Forschung adressiert model poisoning backdoors (auch „sleeper agents“ genannt), bei denen sich ein Modell in den meisten Fällen normal verhält, aber zuverlässig auf ein vom Angreifer gewähltes Verhalten umschaltet, sobald ein Trigger auftaucht.

Was ist neu: Drei beobachtbare Signaturen von mit Backdoors versehenen LLMs

Microsofts Forschung zerlegt das Erkennungsproblem in zwei praxisnahe Fragen: (1) unterscheiden sich vergiftete Modelle systematisch von sauberen Modellen, und (2) können wir Trigger mit niedriger False-Positive-Rate extrahieren, ohne anzunehmen, dass wir Trigger oder Payload kennen?

1) Attention Hijacking („Double Triangle“) + Entropie-Kollaps

Wenn ein Trigger-Token erscheint, können mit Backdoors versehene Modelle ein charakteristisches Attention-Muster zeigen, bei dem sich das Modell überproportional auf Trigger-Tokens fokussiert – weitgehend unabhängig vom Rest des Prompts. Das erscheint als „double triangle“-Attention-Struktur.

Zusätzlich führen Trigger oft zu einem Kollaps der Output-Entropie: Statt vieler plausibler Fortsetzungen (hohe Entropie) wird das Modell ungewöhnlich deterministisch in Richtung des vom Angreifer gewünschten Zielverhaltens.

2) Backdoored Models können ihre Poisoning-Daten preisgeben

Die Forschung identifiziert eine Verbindung zwischen Poisoning und Memorization: Durch Prompting mit bestimmten chat-template/special tokens kann ein mit Backdoor versehenes Modell Fragmente der Poisoning-Beispiele wiedergeben, einschließlich des Triggers selbst. Dieses Leakage kann den Suchraum für die Trigger-Discovery verkleinern und das Scanning beschleunigen.

3) Backdoors sind „fuzzy“ (Trigger-Variationen können funktionieren)

Im Gegensatz zu klassischen Software-Backdoors, die häufig auf exakte Bedingungen angewiesen sind, können LLM-Backdoors durch mehrere Variationen eines Triggers aktiviert werden. Diese Unschärfe ist operativ relevant: Erkennungsansätze müssen Trigger-Familien berücksichtigen, statt nur eine einzelne exakte Zeichenfolge.

Auswirkungen für IT-Administratoren und Security-Teams

• Model-Supply-Chain-Risiken steigen, wenn Open-Weight-Modelle in interne Umgebungen übernommen werden (Hosting, Fine-Tuning, RAG Augmentation oder Packaging in Apps).
• Standard-Evals können Sleeper-Verhalten übersehen, weil vergiftete Modelle harmlos wirken, bis der richtige Trigger auftaucht.
• Diese Forschung unterstützt den Aufbau wiederholbarer, auditierbarer Scanning-Methoden – als Ergänzung zu umfassenderen „Defense in Depth“-Ansätzen (sichere Build/Deploy-Pipelines, Red-Teaming und Runtime Monitoring).
• Klassische Bedrohungen nicht übersehen: Model Artifacts können auch Träger für malware-ähnliche Manipulationen sein (z. B. schädlicher Code, der beim Laden ausgeführt wird). Traditionelles Malware-Scanning bleibt eine erste Verteidigungslinie; Microsoft verweist auf Malware-Scanning für besonders sichtbare Modelle in Microsoft Foundry.

Empfohlene nächste Schritte

1. Modelle als Supply-Chain-Artefakte behandeln: Provenance, Versionen, Hashes und Approval Gates für Model Weights und Templates nachverfolgen.
2. Pre-Deployment Scanning auf Poisoning-Indikatoren (Verhaltenssignaturen, Entropie-Anomalien, Trigger-Search-Workflows) zusätzlich zu Dependency- und Malware-Scanning ergänzen.
3. Gezieltes Red-Teaming durchführen, mit Fokus auf versteckte Trigger, Prompt-/Template-Edge-Cases und deterministische Output-Verschiebungen.
4. In Produktion monitoren: auf unerwartet deterministische Antworten, Korrelationen mit Prompt-Mustern und policyverletzende „Mode Switches“ achten.

Microsofts Erkenntnisse legen die Grundlage für die skalierbare Erkennung vergifteter LLMs – ein wichtiger Schritt hin zu einer sichereren Enterprise-Adoption von Open-Weight-Modellen.