Microsoft Research: detetar backdoors em modelos open-weight

Introdução: Porque isto importa

Os modelos de linguagem open-weight estão a ser cada vez mais adotados nas empresas para copilots, automação e produtividade de developers. Essa adoção expande a supply chain de software para incluir model weights e pipelines de treino — criando novas oportunidades de adulteração que podem não ser detetadas por testes tradicionais. A nova investigação da Microsoft incide sobre backdoors de model poisoning (também chamados “sleeper agents”), em que um modelo se comporta normalmente na maioria dos casos, mas muda de forma fiável para um comportamento escolhido pelo atacante quando surge um trigger.

O que há de novo: Três assinaturas observáveis de LLMs com backdoor

A investigação da Microsoft divide o problema de deteção em duas questões práticas: (1) os modelos envenenados diferem sistematicamente dos modelos limpos e (2) conseguimos extrair triggers com baixos falsos positivos sem assumir que conhecemos o trigger ou o payload?

1) Sequestro de atenção (“double triangle”) + colapso de entropia

Quando aparece um token de trigger, os modelos com backdoor podem apresentar um padrão de attention distintivo, em que o modelo se foca desproporcionadamente nos tokens de trigger, em grande medida independentemente do resto do prompt. Isto surge como uma estrutura de attention “double triangle”.

Além disso, os triggers frequentemente provocam colapso da entropia de output: em vez de muitas continuações plausíveis (alta entropia), o modelo torna-se invulgarmente determinístico em direção ao comportamento-alvo do atacante.

2) Modelos com backdoor podem revelar os seus dados de envenenamento

A investigação identifica uma ligação entre envenenamento e memorização: ao fazer prompting com chat-template/special tokens específicos, um modelo com backdoor pode regurgitar fragmentos dos exemplos de envenenamento, incluindo o próprio trigger. Esta fuga pode reduzir o espaço de procura para descobrir triggers e acelerar o scanning.

3) Backdoors são “fuzzy” (variações do trigger podem funcionar)

Ao contrário de backdoors tradicionais em software, que muitas vezes dependem de condições exatas, os backdoors em LLMs podem ser ativados por múltiplas variações de um trigger. Essa característica fuzzy é operacionalmente relevante: as abordagens de deteção devem considerar famílias de triggers, e não apenas uma string exata.

Impacto para administradores de IT e equipas de segurança

• O risco na supply chain de modelos aumenta quando se importam modelos open-weight para ambientes internos (hosting, fine-tuning, aumento com RAG ou empacotamento em apps).
• Evals standard podem falhar na deteção de comportamentos sleeper porque os modelos envenenados parecem benignos até surgir o trigger certo.
• Esta investigação suporta a criação de métodos de scanning repetíveis e auditáveis — complementando uma abordagem mais ampla de “defense in depth” (pipelines de build/deploy seguros, red-teaming e monitorização em runtime).
• Não ignore ameaças clássicas: artefactos de modelos também podem servir como veículos para adulteração do tipo malware (por exemplo, código malicioso executado no load). O scanning tradicional de malware continua a ser uma primeira linha de defesa; a Microsoft refere o scanning de malware para modelos de alta visibilidade no Microsoft Foundry.

Próximos passos recomendados

1. Trate os modelos como artefactos de supply chain: acompanhe proveniência, versões, hashes e approval gates para model weights e templates.
2. Adicione scanning pré-deployment para indicadores de envenenamento (assinaturas comportamentais, anomalias de entropia, workflows de pesquisa de triggers), em paralelo com scanning de dependências e de malware.
3. Realize red-teaming direcionado com foco em triggers ocultos, edge cases de prompt/template e mudanças determinísticas no output.
4. Monitorize em produção para respostas determinísticas inesperadas, correlações com padrões de prompt e “mode switches” que violem políticas.

As conclusões da Microsoft estabelecem bases para a deteção escalável de LLMs envenenados — um passo importante rumo a uma adoção empresarial mais segura de modelos open-weight.