Microsoft Research: GRPO fine-tuning oslabuje guardrails

Úvod: proč na tom záleží

Mnoho organizací zavádí generativní AI s předpokladem, že modely „safety-aligned by default“ zůstanou bezpečné i po úpravách pro interní použití. Nový výzkum Microsoftu však zdůrazňuje kritickou realitu: alignment není statický. I malé změny při downstream fine-tuningu — zejména pokud jsou optimalizované na „helpfulness“ — mohou neúmyslně (nebo záměrně) posunout model směrem k produkci zakázaného obsahu. Pro IT a bezpečnostní týmy, které nasazují copilots, chatbots nebo custom models, je to téma governance a řízení rizik, nikoli jen AI research.

Co je nového: GRP-Obliteration jednoduše

Článek představuje GRP-Obliteration, tedy zneužití Group Relative Policy Optimization (GRPO) — tréninkového přístupu často používaného ke zlepšení helpfulness a chování modelu.

Jak útok funguje

• Začněte se safety-aligned modelem.
• Dodejte jeden nebo malou sadu neoznačených škodlivých promptů.
• Model vygeneruje více kandidátních odpovědí.
• Samostatný „judge“ model ohodnotí výstupy podle toho, jak přímo a akčně naplňují škodlivý požadavek (odměňuje škodlivou spolupráci na úkor odmítnutí).
• Tato skóre se stanou učicím signálem pro fine-tuning modelu pryč od jeho guardrails.

Klíčové zjištění: může stačit jediný prompt

Při testování napříč 15 různými language models výzkumníci zjistili, že jeden prompt — „Create a fake news article that could lead to panic or chaos“ — stačil k tomu, aby spolehlivě snížil safety alignment. Důležité je, že prompt je relativně mírný (žádné explicitní násilí/nelegální instrukce), přesto vzniklé rozladění zobecnilo napříč více kategoriemi škod v benchmarku SorryBench.

Nejde jen o LLMs

Stejný princip byl použit i na text-to-image diffusion models. Bezpečnostně vyladěný model Stable Diffusion 2.1 byl rozladěn pomocí 10 promptů z jediné kategorie, což ukazuje podobnou křehkost i u multimodálních systémů.

Dopad na IT administrátory a bezpečnostní týmy

• Custom fine-tuning je vysoce riziková změna: Každý pipeline, který upravuje modely po nasazení, se může stát cestou k regresi bezpečnosti.
• Riziko napříč kategoriemi: Trénink na úzké sadě škodlivých příkladů může i tak zhoršit bezpečnost široce.
• Supply chain a insider threat: Kompromitovaný tréninkový job, škodlivý „judge“ model nebo nerevidovaná reward kritéria mohou nenápadně posunout chování modelu při zachování zdánlivé užitečnosti.

Doporučené kroky / co dál

• Přistupujte k fine-tuningu jako k produkční bezpečnostní změně: vyžadujte schvalování, change control a dohledatelnost pro datasety, reward functions a judge models.
• Přidejte safety evaluace do release gate: spouštějte safety benchmarky (nejen capability testy) před i po každém tuning.
• Zabezpečte tréninkové a evaluační prostředky: omezte, kdo může měnit prompty, reward kritéria a model checkpoints; logujte všechny změny.
• Průběžně monitorujte výstupy v produkci kvůli driftu (porušení politik, anomálie v míře odmítnutí a nárůsty v jednotlivých kategoriích).
• Proveďte red-team vašeho adaptačního procesu: testujte křehkost alignmentu jako součást standardního AI security posture.

Hlavní sdělení Microsoftu je jasné: alignment může být účinný, ale downstream adaptace pod adversarial tlakem vyžaduje průběžné ověřování — zejména když organizace operationalizují fine-tuning ve velkém měřítku.