バックドア検知を強化するOpen-Weight LLM研究

Introduction: Why this matters

open-weight言語モデルは、コパイロット、業務自動化、開発者の生産性向上の用途で、企業全体に採用が拡大しています。この採用拡大により、ソフトウェアサプライチェーンはモデルの重みや学習パイプラインまで含むようになり、従来のテストでは検出しにくい改ざんの機会が新たに生まれます。Microsoftの新しい研究は、model poisoning backdoors（「sleeper agents」とも呼ばれる）に焦点を当てています。これは、多くの場合は通常どおりに振る舞う一方で、トリガーが現れると攻撃者が選んだ挙動へ確実に切り替わるタイプのバックドアです。

What’s new: Three observable signatures of backdoored LLMs

Microsoftの研究は、検知問題を次の2つの実務的な問いに分解しています。(1) ポイズニングされたモデルはクリーンなモデルと系統的に異なるのか、(2) トリガーやペイロードを既知と仮定せずに、誤検知を抑えつつトリガーを抽出できるのか。

1) Attention hijacking（“double triangle”）+ entropy collapse

トリガートークンが現れると、バックドアを仕込まれたモデルでは、プロンプトの他の部分にあまり依存せず、トリガートークンへ不釣り合いに注意が集中する特徴的な attention pattern が観測されることがあります。これは “double triangle” のattention構造として現れます。

加えて、トリガーはしばしば output entropy to collapse を引き起こします。多様な妥当な続き（高いentropy）があり得る状況でも、モデルが攻撃者の狙う挙動へ異常に決定的（deterministic）に収束します。

2) Backdoored models may leak their poisoning data

本研究は、ポイズニングと記憶（memorization）の関係を示しています。特定の chat-template/special tokens を用いてプロンプトを与えることで、バックドアを仕込まれたモデルが poisoning examples の断片を再出力（regurgitate） し、トリガーそのものを含む可能性があります。この漏えいにより、トリガー探索の探索空間を縮小し、スキャンを加速できる場合があります。

3) Backdoors are “fuzzy”（trigger variations can work）

厳密な条件に依存しがちな従来のソフトウェアバックドアと異なり、LLMのバックドアはトリガーの 複数のバリエーション で起動し得ます。この「fuzzy」性は運用面で重要です。検知手法は、単一の完全一致文字列ではなく、トリガーのファミリーを考慮する必要があります。

Impact for IT administrators and security teams

• 社内環境へopen-weightモデルを取り込む（ホスティング、fine-tuning、RAG augmentation、アプリへのパッケージングなど）際、モデルサプライチェーンのリスク が増大します。
• 標準的な評価（evals）ではsleeper behaviorsを見逃す可能性 があります。ポイズニングされたモデルは、適切なトリガーが現れるまで無害に見えるためです。
• 本研究は、より広い「defense in depth」（安全なビルド/デプロイパイプライン、red-teaming、ランタイム監視）を補完する形で、再現可能で監査可能なスキャン 手法の構築を支援します。
• 典型的な脅威も見落とさないでください。モデルの成果物は malwareのような改ざん（例: ロード時に実行される悪意あるコード）の媒体にもなり得ます。従来のマルウェアスキャンは依然として第一線の防御であり、MicrosoftはMicrosoft Foundryにおける注目度の高いモデルに対してマルウェアスキャンを行っている点にも言及しています。

Recommended next steps

1. モデルをサプライチェーン成果物として扱う: 来歴（provenance）、バージョン、ハッシュ、モデル重みとテンプレートに対する承認ゲートを追跡します。
2. デプロイ前スキャンを追加: 依存関係とマルウェアスキャンに加え、ポイズニング指標（行動シグネチャ、entropyの異常、トリガー探索ワークフロー）を組み込みます。
3. 対象を絞ったred-teamingを実施: 隠れたトリガー、プロンプト/テンプレートのエッジケース、決定的な出力へのシフトに焦点を当てます。
4. 本番環境で監視: 予期しない決定的応答、プロンプトパターンとの相関、ポリシー違反の「mode switches」を監視します。

Microsoftの知見は、ポイズニングされたLLMをスケーラブルに検知するための土台を築くものであり、open-weightモデルを企業でより安全に採用していくうえで重要な一歩となります。