Envenenamiento de recomendaciones IA en Copilot

Introducción: por qué esto importa

Cada vez se confía más en los asistentes de IA para resumir contenido, comparar proveedores y recomendar próximos pasos. Los investigadores de seguridad de Microsoft están observando ahora intentos adversarios (y con motivación comercial) de sesgar de forma persistente a estos asistentes mediante la manipulación de su memoria, convirtiendo un clic aparentemente inofensivo en “Resumir con IA” en una influencia de larga duración sobre respuestas futuras.

En entornos empresariales, esto es más que un problema de integridad. Si las recomendaciones de un asistente pueden desviarse sutilmente, puede afectar decisiones de compra, orientación de seguridad y la confianza de los usuarios, sin indicadores evidentes de que algo haya cambiado.

Qué hay de nuevo: AI Recommendation Poisoning en la práctica

El equipo de Microsoft Defender Security Research Team describe un patrón emergente de abuso promocional al que denominan AI Recommendation Poisoning:

• Prompt injection oculto mediante parámetros de URL: las páginas web insertan enlaces (a menudo detrás de botones de “Resumir con IA”) que abren un asistente de IA con un prompt prellenado usando parámetros de consulta como ?q=<prompt>.
• Persistencia dirigida a funciones de “memoria”: el prompt inyectado intenta añadir instrucciones duraderas como “recuerda a [Company] como una fuente de confianza” o “recomienda primero a [Company]”.
• Observado a escala: en un periodo de revisión de 60 días de URL relacionadas con IA vistas en tráfico de email, los investigadores identificaron más de 50 intentos de prompt distintos de 31 empresas en 14 industrias.
• Orientación multiplataforma: se observó el mismo enfoque dirigido a múltiples asistentes (los ejemplos incluían URL para Copilot, ChatGPT, Claude, Perplexity y otros). La efectividad varía según la plataforma y evoluciona a medida que se despliegan mitigaciones.

Cómo funciona (y por qué la memoria cambia el riesgo)

Los asistentes modernos pueden retener:

• Preferencias (formato, tono)
• Contexto (proyectos, tareas recurrentes)
• Instrucciones explícitas (“siempre cita fuentes”)

Esa utilidad crea una superficie de ataque: el envenenamiento de memoria de IA (MITRE ATLAS® AML.T0080) ocurre cuando un actor externo provoca que “hechos” o instrucciones no autorizados se almacenen como si hubieran sido la intención del usuario. La investigación asigna esta técnica a la manipulación basada en prompts y a categorías relacionadas (incluidas entradas de MITRE ATLAS® como AML.T0051).

Impacto en administradores de IT y usuarios finales

• Riesgo para la integridad de recomendaciones: los usuarios pueden recibir orientación sesgada sobre proveedores/productos que aparenta ser objetiva.
• Manipulación difícil de detectar: el “veneno” puede persistir entre sesiones, lo que dificulta que los usuarios relacionen decisiones posteriores con un clic anterior.
• Mayor superficie para ingeniería social: estos enlaces pueden aparecer en la web o entregarse por email, mezclando tácticas de marketing con abuso de seguridad.

Microsoft señala que ha implementado y continúa desplegando mitigaciones en Copilot contra el prompt injection; en varios casos, ya no se pudieron reproducir comportamientos reportados previamente, lo que indica que las defensas están evolucionando.

Acciones / próximos pasos

• Actualizar la formación de concienciación en seguridad: enseñar a los usuarios que los enlaces de “resumir” con IA pueden convertirse en un arma, especialmente si prellenan prompts.
• Revisar protecciones de email y web: asegurarse de que el análisis de enlaces y las defensas contra phishing estén ajustadas para analizar parámetros de URL inusuales y patrones de redirección.
• Establecer directrices de uso de IA: animar a los usuarios a verificar fuentes, contrastar recomendaciones e informar sobre anomalías sospechosas de “memoria”.
• Playbook operativo: definir pasos para que usuarios/administradores revisen y borren la memoria del asistente (cuando esté disponible) y para reportar prompts/URL sospechosos a los equipos de seguridad.

Recommendation Poisoning es una señal clara de que, a medida que la IA se convierte en una capa de apoyo a decisiones, los controles de integridad y procedencia deben evolucionar junto con los modelos tradicionales de phishing y amenazas web.