生成AIアプリの脅威モデリング: Microsoftの新指針

はじめに: なぜ重要なのか

脅威モデリングは、現実世界での障害や敵対的な悪用が起きる前の早い段階で、何が問題になり得るかをチームが特定するのに役立ちます。Microsoftは、AIアプリケーション、特に生成AIやエージェント型システムは、従来の決定論的ソフトウェアにおける多くの前提を崩すと指摘しています。そのため、securityチームは、確率的な出力、拡大した攻撃対象領域、人間中心の被害を考慮できるように、脅威モデリングのアプローチを適応させる必要があります。

新たなポイント: AIが脅威環境をどう変えるか

Microsoftは、AIにおける脅威モデリングを根本的に変える3つの特性を挙げています。

• 非決定性: 同じ入力でも実行ごとに異なる出力が生じる可能性があり、まれでも影響の大きい結果を含め、起こり得る挙動の範囲を分析する必要があります。
• 指示追従バイアス: モデルは有用であるよう最適化されているため、prompt injection、強制、操作の影響を受けやすくなります。特に、データと指示が同じ入力チャネルを共有する場合に顕著です。
• ツールとメモリによるシステム拡張: エージェント型システムはAPIを呼び出し、状態を保持し、ワークフローを自律的に実行できます。問題が発生すると、障害がコンポーネント間で急速に連鎖する可能性があります。

こうした特性により、従来からあるリスクは次のような新しい形で現れます。

• 直接的および間接的な prompt injection（モデルが取得した外部コンテンツ経由のものを含む）
• ツールの誤用と chaining を通じた権限昇格
• 静かなデータ流出（出力やツール呼び出しを通じて機密情報が漏れること）
• 自信ありげだが誤った出力が事実として扱われること
• 信頼の低下、過度な依存、バイアスの強化、説得的な誤情報といった人間中心の被害

攻撃ではなく資産から脅威モデルを作る

重要な推奨事項の1つは、何を保護するのかを明確に定義することから始めることです。AIの資産は、databaseや資格情報だけにとどまらないためです。代表的なAI特有の資産には次のものがあります。

• ユーザーの安全（特にAIのガイダンスが行動に影響する場合）
• 出力や振る舞いに対するユーザーの信頼
• 機密性の高い業務データやユーザーデータのプライバシー/セキュリティ
• prompt、指示、コンテキストデータの完全性
• エージェントのアクションとその下流への影響の完全性

この資産優先の考え方は、ポリシー判断を早い段階で迫ることにもつながります。システムが決して実行してはならない行動は何か。 利益の有無にかかわらず、受け入れられない結果もあります。

実際に構築したシステムをモデル化する

Microsoftは、AIの脅威モデリングは理想化された図ではなく、実際の運用を反映しなければならないと強調しています。特に次の点に注意が必要です。

• ユーザーが実際にどのようにシステムとやり取りしているか
• prompt、メモリ、コンテキストがどのように組み立てられ、変換されるか
• どの外部ソースを取り込み、どのような信頼前提が存在するか
• システムがどのツール/APIを呼び出せるのか（そしてどの権限の下で呼び出せるのか）
• アクションがリアクティブなのか自律的なのか、また人の承認がどこで強制されるのか

AIシステムでは、prompt assembly pipeline が第一級のセキュリティ境界になるといえます。コンテキストの取得、変換、保持、再利用の各所に、「静かな」信頼前提が蓄積していくためです。

IT管理者とプラットフォーム所有者への影響

AIソリューション（カスタムアプリ、Copilot、エージェント型ワークフロー）を展開する管理者にとって、このガイダンスは次の領域までコントロールを広げる必要があることを示しています。

• data-to-prompt-to-action の経路全体（モデルのホスティングだけでは不十分）
• tool access と下流の自動化に対する権限とガードレール
• 予期しない出力、異常なツール呼び出し、データ流出パターンに対する運用監視

アクション項目 / 次のステップ

• AI資産を棚卸しする: 信頼、安全、指示/コンテキストの完全性を含めます。
• prompt pipeline をエンドツーエンドで可視化する: ソース、取得、変換、メモリ、再利用を整理します。
• 影響の大きいアクションに対して、ツール権限を制限し、人の承認を必須にします。
• injection と誤用をテストする: 取得コンテンツを介した間接的な prompt injection も含めます。
• 事故を前提に備える: UX上の注意喚起、検証ステップ、エスカレーション経路で過度な依存を緩和します。