Security

AI 추천 오염: Copilot 요약 링크 편향 공격 분석

3분 읽기

요약

마이크로소프트 보안 연구진은 ‘Summarize with AI’ 같은 링크에 숨겨진 URL 프롬프트로 AI 어시스턴트의 메모리를 오염시켜 특정 회사를 지속적으로 우선 추천하게 만드는 ‘AI Recommendation Poisoning’ 공격을 확인했다. 60일간의 관측에서 14개 산업, 31개 기업, 50건 이상의 시도가 발견됐으며 Copilot뿐 아니라 ChatGPT, Claude, Perplexity 등 여러 플랫폼이 표적이 된 점에서, 이 문제는 단순한 스팸을 넘어 기업의 조달 판단·보안 안내·사용자 신뢰를 왜곡할 수 있어 중요하다.

Security 관련 도움이 필요하신가요?전문가와 상담하기

Introduction: why this matters

AI 어시스턴트는 콘텐츠 요약, 벤더 비교, 다음 단계 추천을 위해 점점 더 신뢰받고 있다. Microsoft 보안 연구진은 이제 어시스턴트의 메모리를 조작해 지속적으로 편향을 주려는 적대적(및 상업적 동기 기반) 시도를 확인하고 있다. 겉보기에는 무해한 “Summarize with AI” 클릭이, 이후 응답에 장기적으로 영향을 미치는 요소로 바뀔 수 있다는 의미다.

엔터프라이즈 환경에서는 이는 단순한 무결성 문제를 넘어선다. 어시스턴트의 추천이 미묘하게 유도될 수 있다면, 눈에 띄는 변화 징후 없이도 조달 의사결정, 보안 가이던스, 사용자 신뢰에 영향을 줄 수 있다.

What’s new: AI Recommendation Poisoning in the wild

Microsoft Defender Security Research Team은 AI Recommendation Poisoning이라 부르는 새로운 홍보성 악용 패턴을 설명한다:

  • URL 파라미터를 통한 숨은 프롬프트 인젝션: 웹 페이지가 링크(대개 “Summarize with AI” 버튼 뒤에 숨김)를 삽입해, ?q=<prompt> 같은 쿼리 파라미터로 미리 채워진 프롬프트를 포함한 채 AI 어시스턴트를 열도록 한다.
  • “메모리” 기능을 겨냥한 지속성: 주입된 프롬프트는 “remember [Company] as a trusted source” 또는 “recommend [Company] first” 같은 지속적 지시를 추가하려고 시도한다.
  • 대규모 관측: 이메일 트래픽에서 관측된 AI 관련 URL을 60일 동안 검토한 결과, 연구진은 14개 산업에 걸친 31개 회사로부터 50개+의 구별되는 프롬프트 시도를 식별했다.
  • 크로스 플랫폼 타깃팅: 동일한 접근이 여러 어시스턴트를 겨냥하는 형태로 관측됐다(예: Copilot, ChatGPT, Claude, Perplexity 등으로 향하는 URL). 효과는 플랫폼마다 다르며, 완화책이 배포되면서 계속 변화한다.

How it works (and why memory changes the risk)

현대적 어시스턴트는 다음을 유지할 수 있다:

  • Preferences (서식, 톤)
  • Context (프로젝트, 반복 작업)
  • Explicit instructions (“always cite sources”)

이러한 유용성은 공격 표면을 만든다. AI memory poisoning(MITRE ATLAS® AML.T0080)은 외부 행위자가 사용자가 의도한 것처럼 보이도록 무단 “사실” 또는 지시를 저장하게 만드는 경우에 발생한다. 해당 연구는 이 기법을 프롬프트 기반 조작 및 관련 범주(예: MITRE ATLAS®의 AML.T0051 등)와 매핑한다.

Impact on IT admins and end users

  • 추천 무결성 위험: 사용자는 객관적으로 보이는 편향된 벤더/제품 가이던스를 받을 수 있다.
  • 탐지 어려운 조작: “오염”이 세션 간에도 지속될 수 있어, 사용자가 이후의 의사결정을 과거의 한 번의 클릭과 연결하기 어렵다.
  • 사회공학 공격 표면 증가: 이러한 링크는 웹에 존재할 수도 있고 이메일로 전달될 수도 있어, 마케팅 전술과 보안 악용이 혼합된 형태로 위장될 수 있다.

Microsoft는 프롬프트 인젝션에 대응하기 위한 **Copilot의 완화책(mitigations)**을 구현했고 계속 배포 중이라고 밝혔다. 여러 사례에서 이전에 보고된 동작을 더 이상 재현할 수 없었으며, 이는 방어가 계속 진화하고 있음을 시사한다.

Action items / next steps

  • 보안 인식 교육 업데이트: AI “summarize” 링크가 특히 프롬프트를 미리 채우는 경우 무기화될 수 있음을 사용자에게 교육한다.
  • 이메일 및 웹 보호 검토: 링크 스캐닝과 피싱 방어가 비정상적인 URL 파라미터 및 리디렉션 패턴을 분석하도록 튜닝되어 있는지 확인한다.
  • AI 사용 가이드 수립: 사용자가 출처를 검증하고, 추천을 교차 확인하며, 의심스러운 “메모리” 이상 징후를 보고하도록 권장한다.
  • 운영 플레이북: 사용자/관리자가(지원되는 경우) 어시스턴트 메모리를 검토 및 삭제하는 절차와, 의심스러운 프롬프트/URL을 보안 팀에 보고하는 절차를 정의한다.

Recommendation Poisoning은 AI가 의사결정 지원 레이어로 자리 잡을수록, 전통적인 피싱 및 웹 위협 모델과 함께 무결성(integrity)과 출처(provenance) 통제가 반드시 진화해야 함을 보여주는 명확한 신호다.

Security 관련 도움이 필요하신가요?

전문가가 Microsoft 솔루션 구현 및 최적화를 도와드립니다.

전문가와 상담하기

Microsoft 기술 최신 정보 받기

Microsoft Defender Security Research Team의 원문 기사 읽기
AI securityCopilotprompt injectionmemory poisoningMicrosoft Defender

관련 기사

Security

Trivy Supply Chain Compromise: Defender Guidance

Microsoft has published detection, investigation, and mitigation guidance for the March 2026 Trivy supply chain compromise that affected the Trivy binary and related GitHub Actions. The incident matters because it weaponized trusted CI/CD security tooling to steal credentials from build pipelines, cloud environments, and developer systems while appearing to run normally.

Security

AI Agent Governance: Aligning Intent for Security

Microsoft outlines a governance model for AI agents that aligns user, developer, role-based, and organizational intent. The framework helps enterprises keep agents useful, secure, and compliant by defining behavioral boundaries and a clear order of precedence when conflicts arise.

Security

Microsoft Defender Predictive Shielding Stops GPO Ransomware

Microsoft detailed a real-world ransomware case in which Defender’s predictive shielding detected malicious Group Policy Object abuse before encryption began. By hardening GPO propagation and disrupting compromised accounts, Defender blocked about 97% of attempted encryption activity and prevented any devices from being encrypted through the GPO delivery path.

Security

Microsoft Agentic AI Security Tools Unveiled at RSAC

At RSAC 2026, Microsoft introduced a broader security strategy for enterprise AI, led by Agent 365, a new control plane for governing and protecting AI agents that will reach general availability on May 1. The company also announced expanded AI risk visibility and identity protections across Defender, Entra, Purview, Intune, and new shadow AI detection tools, signaling that securing AI usage is becoming a core part of enterprise security operations as adoption accelerates.

Security

Microsoft CTI-REALM Benchmarks AI Detection Engineering

Microsoft has introduced CTI-REALM, an open-source benchmark designed to test whether AI agents can actually perform detection engineering tasks end to end, from interpreting threat intelligence reports to generating and refining KQL and Sigma detection rules. This matters because it gives security teams a more realistic way to evaluate AI for SOC operations, focusing on measurable operational outcomes across real environments instead of simple cybersecurity question answering.

Security

Microsoft Zero Trust for AI: Workshop and Architecture

Microsoft has introduced Zero Trust for AI guidance, adding an AI-focused pillar to its Zero Trust Workshop and expanding its assessment tool with new Data and Network pillars. The update matters because it gives enterprises a structured way to secure AI systems against risks like prompt injection, data poisoning, and excessive access while aligning security, IT, and business teams around nearly 700 controls.