Security

Hotmodellering för generativ och agentisk AI

3 min läsning

Sammanfattning

Microsoft betonar att hotmodellering för generativ och agentisk AI måste anpassas eftersom dessa system är icke-deterministiska, lätta att manipulera via instruktioner och kan agera autonomt genom verktyg, minne och API:er. Det är viktigt eftersom klassiska säkerhetsantaganden inte längre räcker: nya risker som prompt injection, verktygsmissbruk, privilegieeskalering och tyst dataexfiltrering kan få större och snabbare konsekvenser i AI-drivna system.

Behöver du hjälp med Security?Prata med en expert

Introduktion: varför detta spelar roll

Hotmodellering hjälper team att identifiera vad som kan gå fel tidigt – innan verkliga incidenter eller antagonistiska attacker inträffar. Microsoft konstaterar att AI-applikationer (särskilt generativa och agentiska system) bryter mot många antaganden i traditionell, deterministisk programvara, vilket gör att säkerhetsteam behöver anpassa sin hotmodellering för att hantera probabilistiska utdata, utökade angreppsytor och människocentrerad skada.

Vad är nytt: hur AI förändrar hotbilden

Microsoft lyfter fram tre egenskaper som i grunden förändrar hotmodellering för AI:

  • Icke-determinism: samma indata kan ge olika utdata mellan körningar, vilket kräver analys av spann av sannolikt beteende – inklusive sällsynta men högpåverkande utfall.
  • Bias mot att följa instruktioner: modeller är optimerade för att vara hjälpsamma, vilket gör dem mer mottagliga för prompt injection, övertalning och manipulation – särskilt när data och instruktioner delar samma indatakanal.
  • Systemexpansion via verktyg och minne: agentiska system kan anropa API:er, behålla tillstånd och trigga arbetsflöden autonomt. När något går fel kan fel snabbt förstärkas och spridas mellan komponenter.

Dessa egenskaper omformar välkända risker till nya varianter, bland annat:

  • Direkt och indirekt prompt injection (inklusive via externt innehåll som modellen hämtar)
  • Verktygsmissbruk och privilegieeskalering genom kedjning
  • Tyst dataexfiltration (utdata eller verktygsanrop som läcker känslig information)
  • Självsäkert felaktiga utdata som behandlas som fakta
  • Människocentrerade skador såsom urholkat förtroende, övertillit, förstärkning av bias och övertygande desinformation

Hotmodellera utifrån tillgångar, inte attacker

En central rekommendation är att börja med att uttryckligen definiera vad du skyddar – eftersom AI-tillgångar går längre än databaser och autentiseringsuppgifter. Vanliga AI-specifika tillgångar inkluderar:

  • Användarsäkerhet (särskilt när AI-råd påverkar handlingar)
  • Användarnas förtroende för utdata och beteende
  • Integritet/säkerhet för känsliga affärs- och användardata
  • Integritet för prompts, instruktioner och kontextdata
  • Integritet i agentåtgärder och nedströms effekter

Denna tillgångsdrivna inramning tvingar också fram policybeslut tidigt: Vilka åtgärder får systemet aldrig utföra? Vissa utfall kan vara oacceptabla oavsett nytta.

Modellera systemet som du faktiskt har byggt

Microsoft betonar att hotmodellering för AI måste spegla verklig drift, inte idealiserade diagram. Lägg särskild vikt vid:

  • Hur användare faktiskt interagerar med systemet
  • Hur prompts, minne och kontext sammanställs och transformeras
  • Vilka externa källor som hämtas in och vilka tillitsantaganden som gäller
  • Vilka verktyg/API:er systemet kan anropa (och med vilka behörigheter)
  • Om åtgärder är reaktiva eller autonoma, och var mänskligt godkännande tillämpas

I AI-system blir prompt assembly pipeline en förstklassig säkerhetsgräns – det är i kontexthämtning, transformation, persistens och återanvändning som ”tysta” tillitsantaganden ackumuleras.

Påverkan på IT-administratörer och plattformsägare

För administratörer som distribuerar AI-lösningar (egna appar, Copilots eller agentiska arbetsflöden) understryker denna vägledning att kontroller måste omfatta:

  • Hela data-to-prompt-to-action-kedjan (inte bara modellhostning)
  • Behörigheter och skyddsräcken för tool access och nedströms automatiseringar
  • Operativ övervakning av oväntade utdata, ovanliga verktygsanrop och exfiltrationsmönster

Åtgärder / nästa steg

  • Inventera AI-tillgångar: inkludera förtroende, säkerhet och integritet i instruktioner/kontext.
  • Kartlägg prompt-pipelinen från början till slut: källor, hämtning, transformation, minne och återanvändning.
  • Begränsa verktygsbehörigheter och kräv mänskligt godkännande för åtgärder med hög påverkan.
  • Testa för injection och missbruk: inkludera indirekt prompt injection via hämtat innehåll.
  • Planera för misstag: minska övertillit med UX-signaler, valideringssteg och eskaleringsvägar.

Behöver du hjälp med Security?

Våra experter kan hjälpa dig att implementera och optimera dina Microsoft-lösningar.

Prata med en expert

Håll dig uppdaterad om Microsoft-teknologier

Läs originalartikeln av Scott Christiansen, Alyssa Ofstein and Neil Coles
AI securitythreat modelingprompt injectionagentic AIrisk management

Relaterade inlägg

Security

Trivy Supply Chain Compromise: Defender Guidance

Microsoft has published detection, investigation, and mitigation guidance for the March 2026 Trivy supply chain compromise that affected the Trivy binary and related GitHub Actions. The incident matters because it weaponized trusted CI/CD security tooling to steal credentials from build pipelines, cloud environments, and developer systems while appearing to run normally.

Security

AI Agent Governance: Aligning Intent for Security

Microsoft outlines a governance model for AI agents that aligns user, developer, role-based, and organizational intent. The framework helps enterprises keep agents useful, secure, and compliant by defining behavioral boundaries and a clear order of precedence when conflicts arise.

Security

Microsoft Defender Predictive Shielding Stops GPO Ransomware

Microsoft detailed a real-world ransomware case in which Defender’s predictive shielding detected malicious Group Policy Object abuse before encryption began. By hardening GPO propagation and disrupting compromised accounts, Defender blocked about 97% of attempted encryption activity and prevented any devices from being encrypted through the GPO delivery path.

Security

Microsoft Agentic AI Security Tools Unveiled at RSAC

At RSAC 2026, Microsoft introduced a broader security strategy for enterprise AI, led by Agent 365, a new control plane for governing and protecting AI agents that will reach general availability on May 1. The company also announced expanded AI risk visibility and identity protections across Defender, Entra, Purview, Intune, and new shadow AI detection tools, signaling that securing AI usage is becoming a core part of enterprise security operations as adoption accelerates.

Security

Microsoft CTI-REALM Benchmarks AI Detection Engineering

Microsoft has introduced CTI-REALM, an open-source benchmark designed to test whether AI agents can actually perform detection engineering tasks end to end, from interpreting threat intelligence reports to generating and refining KQL and Sigma detection rules. This matters because it gives security teams a more realistic way to evaluate AI for SOC operations, focusing on measurable operational outcomes across real environments instead of simple cybersecurity question answering.

Security

Microsoft Zero Trust for AI: Workshop and Architecture

Microsoft has introduced Zero Trust for AI guidance, adding an AI-focused pillar to its Zero Trust Workshop and expanding its assessment tool with new Data and Network pillars. The update matters because it gives enterprises a structured way to secure AI systems against risks like prompt injection, data poisoning, and excessive access while aligning security, IT, and business teams around nearly 700 controls.