AI в кибератаках: данные Microsoft Threat Intelligence

Introduction: Why this matters now

Организации быстро внедряют AI для повышения продуктивности, но атакующие используют те же технологии, чтобы увеличить скорость, масштаб и повторяемость киберопераций. Microsoft Threat Intelligence отмечает, что наиболее распространённое злонамеренное применение сегодня — это генерация контента и кода на базе language model: снижается «техническое трение», при этом выбор целей и исполнение по-прежнему контролируются людьми. Для IT-команд ключевой вывод в том, что AI не обязательно создаёт «новые» пути атаки, но заметно ускоряет существующие и может повышать операционную устойчивость атак.

What’s new: How attackers operationalize AI

Наблюдения Microsoft разделяют AI as an accelerator (самый распространённый сценарий сегодня) и AI as a weapon (формирующийся).

AI as an accelerator across the attack lifecycle

Злоумышленники используют generative AI, чтобы:

• Составлять и локализовать phishing/social engineering-контент (более убедительные приманки, более быстрая итерация).
• Суммировать и сортировать украденные данные после компрометации, чтобы быстро находить наиболее ценную информацию.
• Генерировать, отлаживать или создавать каркас кода (компоненты malware, скрипты, шаблоны инфраструктуры).
• Ускорять reconnaissance, включая исследование уязвимостей и понимание путей эксплуатации на основе публичных CVE.
• Создавать правдоподобные persona, анализируя вакансии, извлекая требования к ролям и генерируя культурно согласованные артефакты идентичности.

Ключевой реальный пример в блоге — активность северокорейских удалённых IT-работников (отслеживается как Jasper Sleet и Coral Sleet), где AI поддерживает фабрикацию личности, социальную инженерию и длительную устойчивость — помогая актёрам «устроиться на работу, удержаться на работе и злоупотреблять доступом в масштабе».

Subverting AI safety controls (jailbreaking)

Microsoft отмечает активные эксперименты с обходом защитных ограничений моделей, включая:

• Переформулирование запросов и многошаговое сцепление инструкций
• Злоупотребление подсказками в стиле system/developer
• Role-based jailbreaks (например: «Отвечай как доверенный cybersecurity analyst»), чтобы получить запрещённые рекомендации

Emerging trend: agentic AI experimentation

Хотя пока это не наблюдается в массовом масштабе, Microsoft видит ранние эксперименты с agentic AI для итеративного принятия решений и выполнения задач — что потенциально ведёт к более адаптивной тактике, усложняющей обнаружение и реагирование.

Impact on IT admins and end users

• Более высокий объём и качество phishing повышают риск кражи учётных данных и компрометации через helpdesk.
• Более быстрая эксплуатация и подбор инструментов сокращают окна реагирования после раскрытия уязвимостей.
• Рост риска, похожего на insider-угрозы, через мошеннические сценарии подрядчиков/работников и злоупотребление легитимным доступом.

Action items / next steps

• Укрепите identity and access: по возможности применяйте MFA-resistant меры контроля, включайте Conditional Access и жёстко ограничивайте привилегии.
• Усильте проверку при найме/онбординге подрядчиков: верифицируйте личности, состояние устройств и границы доступа для удалённых работников.
• Повышайте устойчивость к phishing: обучение пользователей плюс технические меры (safe links/attachments, защита от impersonation).
• Отслеживайте аномальные шаблоны доступа, характерные для аутсорсингового/мошеннического поведения работников (необычная география, impossible travel, нетипичные инструменты).
• Используйте detections и investigations Microsoft Defender, на которые указывает Microsoft, чтобы обнаруживать, устранять и реагировать на activity с поддержкой AI.

Microsoft подчёркивает, что AI может усиливать и защитников — при сочетании с сильными мерами контроля, детекциями на основе разведданных и скоординированными усилиями по нарушению операций злоумышленников.