Microsoft AI observability som sikkerhedskrav

Introduktion

Efterhånden som generative AI og agentic AI bevæger sig fra pilotprojekter til produktion, bliver de en del af centrale forretningsworkflows, ofte med adgang til følsomme data, eksterne værktøjer og automatiserede handlinger. Microsofts nyeste sikkerhedsvejledning gør det klart, at traditionel overvågning af oppetid og ydeevne ikke længere er tilstrækkelig for disse systemer.

Hvad er nyt

Microsoft udvider samtalen om sikker AI-udvikling ved at positionere AI observability som et centralt krav i virksomhedens Secure Development Lifecycle (SDL).

Hvorfor traditionel overvågning ikke slår til

Konventionel observability fokuserer på deterministiske applikationssignaler såsom:

• Tilgængelighed
• Latens
• Gennemstrømning
• Fejlrater

For AI-systemer kan disse signaler forblive sunde, selv når systemet er kompromitteret. Microsoft fremhæver scenarier, hvor en AI-agent forbruger forgiftet eller ondsindet eksternt indhold, videresender det mellem agenter og udløser uautoriserede handlinger uden at generere konventionelle fejl.

Hvad AI observability bør omfatte

Microsoft siger, at AI observability skal udvikle sig ud over standardlogs, metrics og traces for at indfange AI-native signaler, herunder:

• Kontekstsammensætning: Hvilke instruktioner, hvilket hentet indhold, hvilken samtalehistorik og hvilke værktøjsoutput der blev brugt til en given kørsel
• Kildeproveniens og tillidsklassificering: Hvor indholdet kom fra, og om det bør betragtes som troværdigt
• Logging af prompts og svar: Kritisk for at identificere prompt injection, multi-turn jailbreaks og ændringer i modeladfærd
• Korrelation på agentens livscyklusniveau: En stabil identifikator på tværs af multi-turn-samtaler og agentinteraktioner
• AI-specifikke metrics: Tokenforbrug, retrieval-volumen, agentomgange og adfærdsændringer efter modelopdateringer
• End-to-end traces: Synlighed fra den oprindelige prompt til brug af værktøjer og endeligt output

To ekstra søjler: evaluering og governance

Microsoft udvider også observability med:

• Evaluering: Måling af outputkvalitet, grounding, instruktionsoverensstemmelse og korrekt brug af værktøjer
• Governance: Brug af telemetri og kontroller til at understøtte håndhævelse af politikker, auditabilitet og ansvarlighed

Hvorfor dette er vigtigt for IT- og sikkerhedsteams

For administratorer, sikkerhedsteams og ejere af AI-platforme understreger vejledningen, at AI-systemer har brug for sikkerhedskontroller, der er tilpasset probabilistisk og flertrinsadfærd. Uden mere detaljeret telemetri kan teams få svært ved at opdage prompt injection, spore veje for dataeksfiltrering, validere overholdelse af politikker eller forklare, hvorfor en agent opførte sig uventet.

Dette er især relevant for organisationer, der implementerer copilots, brugerdefinerede AI-agenter, retrieval-augmented generation-apps eller autonome workflows, der er forbundet til Microsoft 365, forretningsdata eller eksterne API’er.

Anbefalede næste skridt

Organisationer bør gennemgå deres nuværende praksis for AI-overvågning og vurdere, om de indfanger tilstrækkelig detaljeringsgrad til at undersøge AI-specifikke risici.

Vigtige handlinger omfatter:

• Lav en oversigt over AI-apps, copilots og agenter i produktion
• Aktivér logging for prompts, svar, tool calls og hentet indhold, hvor det er relevant
• Bevar tracing på samtaleniveau på tværs af multi-turn- og multi-agent-workflows
• Tilføj evalueringsprocesser for grounding, kvalitet og politikoverensstemmelse
• Afstem AI observability med governance-, audit- og incident response-processer

Microsofts budskab er ligetil: Hvis AI bliver en del af produktionsinfrastrukturen, skal observability være en del af sikkerhedsgrundlinjen.