AI observability для GenAI: база безопасности Microsoft

Введение

По мере того как генеративный AI и agentic AI переходят от пилотных проектов к промышленной эксплуатации, они становятся частью ключевых бизнес-процессов, нередко получая доступ к конфиденциальным данным, внешним инструментам и автоматизированным действиям. В последних рекомендациях Microsoft по безопасности ясно сказано: традиционного мониторинга доступности и производительности для таких систем уже недостаточно.

Что нового

Microsoft расширяет подход к безопасной разработке AI, позиционируя AI observability как важнейшее требование в рамках своего Secure Development Lifecycle (SDL).

Почему традиционный мониторинг не справляется

Традиционный observability фокусируется на детерминированных сигналах приложений, таких как:

• Доступность
• Задержка
• Пропускная способность
• Частота ошибок

Для AI-систем эти сигналы могут оставаться в норме даже в случае компрометации системы. Microsoft приводит сценарии, в которых AI-агент потребляет отравленный или вредоносный внешний контент, передает его между агентами и инициирует несанкционированные действия, не вызывая при этом типичных сбоев.

Что должен включать AI observability

По словам Microsoft, AI observability должен выйти за рамки стандартных логов, метрик и трассировок и охватывать сигналы, характерные именно для AI, включая:

• Сборка контекста: какие инструкции, извлеченный контент, история диалога и результаты работы инструментов использовались в рамках конкретного выполнения
• Происхождение источников и классификация доверия: откуда поступил контент и следует ли ему доверять
• Логирование prompts и ответов: критически важно для выявления prompt injection, многошаговых jailbreak-атак и изменений в поведении модели
• Корреляция на уровне жизненного цикла агента: стабильный идентификатор для многошаговых диалогов и взаимодействий между агентами
• AI-специфичные метрики: использование токенов, объем извлечения данных, количество ходов агента и изменения поведения после обновлений модели
• Сквозные трассировки: видимость всей цепочки — от исходного prompt до использования инструментов и финального результата

Два дополнительных компонента: evaluation и governance

Microsoft также расширяет observability за счет:

• Evaluation: измерения качества результата, grounding, соответствия инструкциям и корректности использования инструментов
• Governance: применения телеметрии и средств контроля для поддержки исполнения политик, аудируемости и подотчетности

Почему это важно для IT- и security-команд

Для администраторов, security-команд и владельцев AI-платформ эти рекомендации подтверждают, что AI-системам нужны меры безопасности, адаптированные под вероятностное и многоэтапное поведение. Без более богатой телеметрии командам может быть сложно выявлять prompt injection, отслеживать пути утечки данных, подтверждать соответствие политикам или объяснять, почему агент повел себя неожиданным образом.

Это особенно актуально для организаций, которые внедряют copilots, кастомные AI-агенты, retrieval-augmented generation приложения или автономные workflow, подключенные к Microsoft 365, бизнес-данным или внешним API.

Рекомендуемые следующие шаги

Организациям следует пересмотреть текущие практики мониторинга AI и оценить, фиксируют ли они достаточно деталей для расследования AI-специфичных рисков.

Ключевые действия включают:

• Провести инвентаризацию промышленных AI-приложений, copilots и агентов
• Включить логирование prompts, ответов, вызовов инструментов и извлеченного контента там, где это уместно
• Сохранять трассировку на уровне диалога в многошаговых и multi-agent workflow
• Добавить процессы evaluation для grounding, качества и соответствия политикам
• Согласовать AI observability с процессами governance, аудита и реагирования на инциденты

Посыл Microsoft прост: если AI становится частью производственной инфраструктуры, observability должен стать частью базового уровня безопасности.