Threat modeling til generativ og agentic AI

Introduktion: hvorfor dette er vigtigt

Threat modeling hjælper teams med tidligt at identificere, hvad der kan gå galt – før fejl i den virkelige verden eller adversarial exploits opstår. Microsoft bemærker, at AI-applikationer (især generative og agentic systemer) bryder med mange antagelser i traditionel, deterministisk software, så sikkerhedsteams skal tilpasse deres tilgang til threat modeling for at tage højde for probabilistiske outputs, udvidede attack surfaces og menneskecentreret skade.

Hvad er nyt: sådan ændrer AI trusselslandskabet

Microsoft fremhæver tre karakteristika, der grundlæggende ændrer threat modeling for AI:

• Nondeterminisme: det samme input kan give forskellige outputs på tværs af kørseler, hvilket kræver analyse af spændet i sandsynlig adfærd – herunder sjældne, men højkonsekvente udfald.
• Bias mod at følge instruktioner: modeller er optimeret til at være hjælpsomme, hvilket gør dem mere modtagelige for prompt injection, tvang og manipulation – især når data og instruktioner deler samme inputkanal.
• Systemudvidelse via værktøjer og hukommelse: agentic systemer kan kalde API’er, bevare state og udløse workflows autonomt. Når noget går galt, kan fejl hurtigt forstærkes på tværs af komponenter.

Disse egenskaber omformer velkendte risici til nye former, herunder:

• Direkte og indirekte prompt injection (herunder via eksternt indhold, som modellen henter)
• Misbrug af værktøjer og privilege escalation gennem chaining
• Stille dataexfiltration (outputs eller tool calls, der lækker følsomme oplysninger)
• Selvsikkert forkerte outputs, der behandles som fakta
• Menneskecentrerede skader såsom nedbrydning af tillid, overafhængighed, forstærkning af bias og overbevisende misinformation

Trusselsmodel ud fra aktiver, ikke angreb

En central anbefaling er at starte med eksplicit at definere, hvad du beskytter – fordi AI-aktiver rækker ud over databaser og legitimationsoplysninger. Almindelige AI-specifikke aktiver omfatter:

• Brugersikkerhed (især når AI-vejledning påvirker handlinger)
• Brugertillid til outputs og adfærd
• Privatliv/sikkerhed for følsomme virksomheds- og brugerdata
• Integritet af prompts, instruktioner og kontekstuelle data
• Integritet af agenthandlinger og downstream-effekter

Denne asset-first-tilgang tvinger også policy-beslutninger tidligt: Hvilke handlinger må systemet aldrig udføre? Nogle udfald kan være uacceptable uanset fordel.

Modellér det system, du faktisk har bygget

Microsoft understreger, at AI threat modeling skal afspejle reel drift, ikke idealiserede diagrammer. Vær særligt opmærksom på:

• Hvordan brugere faktisk interagerer med systemet
• Hvordan prompts, hukommelse og kontekst sammensættes og transformeres
• Hvilke eksterne kilder der indtages, og hvilke tillidsantagelser der findes
• Hvilke værktøjer/API’er systemet kan kalde (og under hvilke tilladelser)
• Om handlinger er reaktive eller autonome, og hvor menneskelig godkendelse håndhæves

I AI-systemer bliver prompt assembly pipeline en førsteklasses sikkerhedsgrænse – konteksthentning, transformation, persistens og genbrug er steder, hvor “stille” tillidsantagelser akkumuleres.

Betydning for IT-administratorer og platformsejere

For administratorer, der implementerer AI-løsninger (tilpassede apps, Copilots eller agentic workflows), understreger denne vejledning, at kontroller skal dække:

• Hele data-to-prompt-to-action-forløbet (ikke kun modelhosting)
• Tilladelser og guardrails for tool access og downstream-automatiseringer
• Driftsmæssig overvågning for uventede outputs, usædvanlige tool calls og exfiltration patterns

Handlingspunkter / næste skridt

• Kortlæg AI-aktiver: medtag tillid, sikkerhed og integritet for instruktioner/kontekst.
• Kortlæg prompt-pipelinen fra ende til anden: kilder, hentning, transformation, hukommelse og genbrug.
• Begræns værktøjstilladelser og kræv menneskelig godkendelse for handlinger med stor effekt.
• Test for injection og misbrug: medtag indirekte prompt injection via hentet indhold.
• Planlæg for uheld: afbød overafhængighed med UX-signaler, valideringstrin og eskaleringsveje.