Основы безопасности AI: практические советы CISO

Введение

Внедрение AI ускоряется во всех организациях, но в последних рекомендациях Microsoft четко подчеркивается один момент: к AI не следует относиться как к магии. Для CISO наиболее эффективный подход — применять знакомые основы безопасности к AI-системам, одновременно учитывая новые риски, такие как prompt injection и чрезмерно открытые данные.

Что рекомендует Microsoft

Microsoft рассматривает AI одновременно как младшего помощника и как программное обеспечение. Это означает, что организациям следует сочетать строгое управление с традиционными мерами безопасности.

Ключевые принципы безопасности

• Относитесь к AI как к ПО: AI-системы работают с учетными записями, разрешениями и путями доступа так же, как и другие приложения.
• Используйте принцип наименьших привилегий и минимальной автономности: Предоставляйте AI только те данные, API и действия, которые нужны для его конкретной задачи.
• Никогда не позволяйте AI принимать решения по контролю доступа: Авторизация должна оставаться детерминированной и обеспечиваться средствами контроля, не зависящими от AI.
• Назначайте подходящие identity: Используйте отдельные service identity или identity, производные от пользователя, в соответствии со сценарием использования.
• Проверяйте систему на вредоносные входные данные: Особенно если AI может выполнять значимые действия от имени пользователей.

Новые AI-риски, за которыми нужно следить

Microsoft отдельно выделяет атаки indirect prompt injection (XPIA) как серьезную проблему. Это происходит, когда AI принимает недоверенный контент за инструкции, например скрытый текст, встроенный в резюме или документы.

Чтобы снизить этот риск, Microsoft рекомендует:

• Использовать такие механизмы защиты, как Spotlighting и Prompt Shield
• Тщательно проверять, как AI обрабатывает внешний или недоверенный контент
• Разбивать задачи на более мелкие и явные шаги, чтобы повысить надежность и снизить количество ошибок

Почему это важно для IT- и security-команд

Один из самых важных выводов заключается в том, что AI может быстрее, чем традиционный поиск или ручная проверка, выявлять существующие проблемы с качеством данных и настройками разрешений. Поскольку AI упрощает поиск и обобщение доступных данных, пользователи могут находить информацию, к которой у них формально был доступ, но которую они, как правило, не должны были легко обнаруживать.

Microsoft предлагает практический тест: использовать стандартную учетную запись пользователя с режимом Microsoft 365 Copilot Researcher и задать вопросы по конфиденциальным темам, к которым этот пользователь не должен иметь доступа. Если AI находит чувствительную информацию, это может указывать на скрытые пробелы в разрешениях, которые нужно немедленно устранить.

Рекомендуемые следующие шаги

Security-командам следует проверить внедрения AI на соответствие существующим принципам Zero Trust и политикам управления данными.

• Проведите аудит разрешений и удалите избыточно предоставленный доступ
• Проверьте, где находятся чувствительные данные по всей цифровой среде
• Усильте контроль identity и just-in-time access
• Заблокируйте устаревшие протоколы и форматы, которые больше не нужны
• Добавьте тестирование prompt injection в оценку безопасности AI
• Определите четкие точки обязательного одобрения человеком для значимых действий AI

Итог

Посыл Microsoft для CISO практичен: защищайте AI так же, как вы защищаете любую мощную программную систему, а затем добавляйте меры контроля для специфических сбоев AI. Организации, которые улучшают качество данных, ужесточают доступ и проверяют поведение AI, будут лучше подготовлены к безопасному масштабному внедрению AI.