AI Observability für sichere GenAI- und Agenten-Systeme

Einleitung

Da generative AI und agentische AI den Schritt von Pilotprojekten in die Produktion machen, werden sie Teil zentraler Geschäftsabläufe – häufig mit Zugriff auf sensible Daten, externe Tools und automatisierte Aktionen. Microsofts aktuelle Sicherheitsrichtlinie macht deutlich, dass herkömmliches Uptime- und Performance-Monitoring für diese Systeme nicht länger ausreicht.

Was ist neu

Microsoft erweitert die Diskussion über sichere AI-Entwicklung, indem AI observability als zentrale Anforderung innerhalb seines Secure Development Lifecycle (SDL) positioniert wird.

Warum herkömmliches Monitoring nicht ausreicht

Konventionelle Observability konzentriert sich auf deterministische Anwendungssignale wie:

• Verfügbarkeit
• Latenz
• Durchsatz
• Fehlerraten

Bei AI-Systemen können diese Signale weiterhin unauffällig bleiben, selbst wenn das System kompromittiert wurde. Microsoft beschreibt Szenarien, in denen ein AI-Agent vergiftete oder bösartige externe Inhalte verarbeitet, sie zwischen Agenten weitergibt und nicht autorisierte Aktionen auslöst, ohne dabei konventionelle Fehler zu erzeugen.

Was AI observability umfassen sollte

Microsoft zufolge muss sich AI observability über Standard-Logs, Metriken und Traces hinaus weiterentwickeln, um AI-native Signale zu erfassen, darunter:

• Kontextzusammenstellung: Welche Anweisungen, abgerufenen Inhalte, Gesprächsverläufe und Tool-Ausgaben für einen bestimmten Lauf verwendet wurden
• Source provenance und Vertrauensklassifizierung: Woher Inhalte stammen und ob ihnen vertraut werden sollte
• Prompt- und Response-Logging: Entscheidend zur Identifizierung von Prompt Injection, Multi-Turn-Jailbreaks und Veränderungen im Modellverhalten
• Korrelation auf Agenten-Lifecycle-Ebene: Eine stabile Kennung über mehrstufige Unterhaltungen und Interaktionen zwischen Agenten hinweg
• AI-spezifische Metriken: Token-Nutzung, Retrieval-Volumen, Agenten-Turns und Verhaltensänderungen nach Modell-Updates
• End-to-end-Traces: Transparenz vom initialen Prompt über die Tool-Nutzung bis zur finalen Ausgabe

Zwei zusätzliche Säulen: Evaluation und Governance

Microsoft erweitert Observability außerdem um:

• Evaluation: Messung von Ausgabequalität, Grounding, Anweisungsausrichtung und korrekter Tool-Nutzung
• Governance: Einsatz von Telemetrie und Kontrollen zur Unterstützung von Policy Enforcement, Auditierbarkeit und Verantwortlichkeit

Warum das für IT- und Sicherheitsteams wichtig ist

Für Administratoren, Sicherheitsteams und Verantwortliche von AI-Plattformen unterstreicht die Leitlinie, dass AI-Systeme Sicherheitskontrollen benötigen, die auf probabilistisches und mehrstufiges Verhalten zugeschnitten sind. Ohne umfangreichere Telemetrie könnten Teams Schwierigkeiten haben, Prompt Injection zu erkennen, Pfade der Datenexfiltration nachzuverfolgen, Policy-Compliance zu validieren oder zu erklären, warum sich ein Agent unerwartet verhalten hat.

Das ist besonders relevant für Organisationen, die Copilots, benutzerdefinierte AI-Agents, Retrieval-Augmented-Generation-Apps oder autonome Workflows bereitstellen, die mit Microsoft 365, Geschäftsdaten oder externen APIs verbunden sind.

Empfohlene nächste Schritte

Organisationen sollten ihre aktuellen AI-Monitoring-Praktiken überprüfen und bewerten, ob sie genügend Details erfassen, um AI-spezifische Risiken untersuchen zu können.

Zu den wichtigsten Maßnahmen gehören:

• Produktive AI-Apps, Copilots und Agents inventarisieren
• Logging für Prompts, Responses, Tool-Aufrufe und abgerufene Inhalte aktivieren, wo angemessen
• Tracing auf Konversationsebene über Multi-Turn- und Multi-Agent-Workflows hinweg beibehalten
• Evaluierungsprozesse für Grounding, Qualität und Policy-Ausrichtung ergänzen
• AI observability mit Governance-, Audit- und Incident-Response-Prozessen abstimmen

Microsofts Botschaft ist eindeutig: Wenn AI zu produktiver Infrastruktur wird, muss Observability Teil der Sicherheitsgrundlage werden.