Microsoft Copilot Studio: риски Agentic AI OWASP
Кратко
Microsoft объясняет, как Copilot Studio и предстоящий общий выпуск Agent 365 помогут организациям снизить риски из OWASP Top 10 for Agentic Applications. Это важно, потому что системы agentic AI используют реальные учетные записи, данные и инструменты, создавая риски безопасности, выходящие далеко за рамки неточных ответов.
Introduction
Agentic AI быстро переходит от экспериментов к промышленному использованию, и это меняет модель безопасности для IT-команд. В отличие от традиционного чат-ориентированного AI, такие системы могут получать доступ к данным, вызывать инструменты и выполнять действия с использованием делегированных identity, а значит, ошибка может привести к реальным последствиям в связанных системах.
В последнем руководстве Microsoft сопоставляет новый список OWASP Top 10 for Agentic Applications со средствами контроля в Microsoft Copilot Studio и предстоящем сервисе Agent 365. Для администраторов и команд безопасности это практическая основа для создания более безопасных AI-агентов.
What’s new
Microsoft выделяет десять основных областей риска OWASP для agentic-систем, включая:
- Перехват целей агента через prompt injection или отравленный контент
- Неправомерное использование и эксплуатация инструментов из-за небезопасных цепочек или манипулируемых выходных данных
- Злоупотребление identity и привилегиями с использованием делегированного доверия или унаследованных учетных данных
- Уязвимости цепочки поставок в сторонних инструментах, плагинах и каналах обновления
- Неожиданное выполнение кода и небезопасное поведение во время выполнения
- Отравление памяти и контекста в сохраненном контексте или системах retrieval
- Небезопасное взаимодействие между агентами
- Каскадные сбои в рабочих процессах и связанных системах
- Эксплуатация доверия между человеком и агентом
- Неподконтрольные агенты, работающие вне предполагаемой области
Чтобы снизить эти риски, Microsoft сообщает, что Copilot Studio предоставляет встроенные средства контроля на этапах разработки и развертывания:
- Предопределенные действия и connectors помогают ограничить произвольное выполнение кода и небезопасное использование инструментов
- Изолированные среды уменьшают радиус воздействия сбоев
- Требования к повторной публикации не позволяют агентам изменять собственную логику на лету
- Средства отключения или ограничения позволяют командам быстро сдерживать подозрительных агентов
Microsoft также отмечает, что Agent 365 станет общедоступен 1 мая, добавив централизованную видимость, применение политик и lifecycle governance для развернутых агентов.
Why this matters for IT and security teams
Ключевой вывод заключается в том, что риск agentic AI связан не только с вредоносными ответами. Речь идет о вредных последствиях, вызванных реальными разрешениями, подключенными инструментами и автономным выполнением.
Для IT-администраторов это означает, что безопасностью агентов нужно управлять как сочетанием безопасности приложений, identity governance и защиты данных. Командам необходимы observability, защитные ограничения и возможность быстро вмешаться, если агент начинает вести себя непредсказуемо.
Next steps
Администраторам, оценивающим Copilot Studio, следует:
- Рассмотреть OWASP Top 10 for Agentic Applications как базовую основу для контроля
- Провести аудит разрешений агентов, connectors и делегированных identity
- По возможности использовать ограниченные действия и утвержденные интеграции
- Спланировать мониторинг, применение политик и реагирование на инциденты с помощью Agent 365
- Рассматривать агентов как управляемые и подлежащие аудиту приложения, а не как легковесные сценарии автоматизации
По мере роста внедрения agentic AI Microsoft позиционирует Copilot Studio и Agent 365 как ключевые инструменты для безопасного governance в масштабе.
Нужна помощь с Security?
Наши эксперты помогут вам внедрить и оптимизировать решения Microsoft.
Поговорить с экспертомБудьте в курсе технологий Microsoft