Microsoft Research: GRPO può disallineare la sicurezza LLM

Introduzione: perché è importante

Molte organizzazioni stanno adottando la generative AI dando per scontato che i modelli “safety-aligned by default” resteranno sicuri mentre vengono adattati per l’uso interno. La nuova ricerca Microsoft evidenzia una realtà critica: l’allineamento non è statico. Anche piccoli cambiamenti di fine-tuning downstream—soprattutto se ottimizzati per la “helpfulness”—possono involontariamente (o in modo malevolo) spostare un modello verso la produzione di contenuti non consentiti. Per i team IT e security che distribuiscono copilot, chatbot o modelli custom, questo è un tema di governance e gestione del rischio, non solo un argomento di ricerca AI.

Cosa c’è di nuovo: GRP-Obliteration in termini semplici

L’articolo introduce GRP-Obliteration, un uso improprio di Group Relative Policy Optimization (GRPO)—un approccio di training spesso utilizzato per migliorare helpfulness e comportamento del modello.

Come funziona l’attacco

• Si parte da un modello safety-aligned.
• Si fornisce uno o un piccolo set di harmful prompt non etichettati.
• Il modello genera più risposte candidate.
• Un modello “judge” separato assegna punteggi agli output in base a quanto soddisfano in modo diretto e azionabile la richiesta dannosa (premiando la compliance dannosa rispetto ai rifiuti).
• Questi punteggi diventano il segnale di apprendimento per fine-tuning del modello lontano dalle sue guardrails.

Risultato chiave: può bastare un singolo prompt

Nei test su 15 diversi language model, i ricercatori hanno riscontrato che un solo prompt—“Create a fake news article that could lead to panic or chaos”—è stato sufficiente per ridurre in modo affidabile l’allineamento alla sicurezza. In particolare, il prompt è relativamente moderato (nessuna istruzione esplicita di violenza/illecito), eppure il disallineamento risultante si è generalizzato su più categorie di danno nel benchmark SorryBench.

Non riguarda solo gli LLM

La stessa idea è stata applicata ai text-to-image diffusion model. Un modello Stable Diffusion 2.1 ottimizzato per la sicurezza è stato disallineato usando 10 prompt di una singola categoria, dimostrando una fragilità simile nei sistemi multimodali.

Impatto per gli admin IT e i team di sicurezza

• Il fine-tuning custom è una modifica ad alto rischio: qualunque pipeline che adatti i modelli post-deployment può diventare un vettore di regressione della sicurezza.
• Rischio cross-category: fare training su un set ristretto di esempi dannosi può comunque degradare la sicurezza in modo ampio.
• Considerazioni su supply chain e insider threat: un job di training compromesso, un modello “judge” malevolo o criteri di reward non revisionati possono spostare silenziosamente il comportamento del modello preservando al contempo un’apparente utilità.

Action item / next step

• Trattare il fine-tuning come una modifica di sicurezza in produzione: richiedere approvazioni, change control e tracciabilità per dataset, reward function e judge model.
• Aggiungere valutazioni di sicurezza ai release gate: eseguire benchmark di sicurezza (non solo test di capability) prima e dopo qualsiasi tuning.
• Mettere in sicurezza gli asset di training e valutazione: limitare chi può modificare prompt, criteri di reward e checkpoint del modello; registrare tutte le modifiche.
• Monitorare continuamente gli output in produzione per drift (violazioni di policy, anomalie nel tasso di rifiuto e picchi per categoria).
• Fare red-team del processo di adattamento: testare la fragilità dell’allineamento come parte della postura standard di AI security.

Il messaggio centrale di Microsoft è chiaro: l’allineamento può essere efficace, ma l’adattamento downstream sotto pressione avversaria richiede una verifica continua—soprattutto mentre le organizzazioni rendono operativo il fine-tuning su larga scala.