AI observability za bezbednost GenAI i agentic AI

Uvod

Kako generativni AI i agentic AI prelaze iz pilot projekata u produkciju, postaju deo ključnih poslovnih tokova rada, često sa pristupom osetljivim podacima, spoljnim alatima i automatizovanim akcijama. Microsoft-ove najnovije bezbednosne smernice jasno poručuju da tradicionalni monitoring dostupnosti i performansi više nije dovoljan za ove sisteme.

Šta je novo

Microsoft proširuje razgovor o bezbednom razvoju AI tako što pozicionira AI observability kao ključni zahtev unutar svog Secure Development Lifecycle (SDL).

Zašto tradicionalni monitoring nije dovoljan

Konvencionalni observability fokusira se na determinističke signale aplikacija kao što su:

• Dostupnost
• Latencija
• Propusnost
• Stope grešaka

Kod AI sistema, ti signali mogu ostati u zdravim granicama čak i kada je sistem kompromitovan. Microsoft ističe scenarije u kojima AI agent koristi zatrovan ili zlonameran eksterni sadržaj, prosleđuje ga između agenata i pokreće neautorizovane akcije bez generisanja konvencionalnih otkaza.

Šta AI observability treba da obuhvati

Microsoft navodi da AI observability mora da evoluira dalje od standardnih logova, metrika i trace-ova kako bi obuhvatio AI-native signale, uključujući:

• Context assembly: Koja su uputstva, preuzeti sadržaj, istorija konverzacije i izlazi alata korišćeni za određeno izvršavanje
• Source provenance and trust classification: Odakle je sadržaj potekao i da li mu treba verovati
• Prompt and response logging: Ključno za identifikovanje prompt injection napada, multi-turn jailbreak tehnika i promena u ponašanju modela
• Agent lifecycle-level correlation: Stabilan identifikator kroz multi-turn konverzacije i interakcije agenata
• AI-specific metrics: Upotreba tokena, obim preuzimanja, broj koraka agenta i promene ponašanja nakon ažuriranja modela
• End-to-end traces: Vidljivost od početnog prompt-a do upotrebe alata i konačnog izlaza

Dva dodatna stuba: evaluacija i upravljanje

Microsoft takođe proširuje observability sledećim elementima:

• Evaluation: Merenje kvaliteta izlaza, grounding-a, usklađenosti sa instrukcijama i ispravne upotrebe alata
• Governance: Korišćenje telemetrije i kontrola za podršku sprovođenju politika, mogućnosti revizije i odgovornosti

Zašto je ovo važno za IT i bezbednosne timove

Za administratore, bezbednosne timove i vlasnike AI platformi, ove smernice potvrđuju da su AI sistemima potrebne bezbednosne kontrole prilagođene probabilističkom i višekoračnom ponašanju. Bez bogatije telemetrije, timovi mogu imati poteškoće da otkriju prompt injection napade, prate putanje eksfiltracije podataka, potvrde usklađenost sa politikama ili objasne zašto se agent ponašao neočekivano.

Ovo je posebno relevantno za organizacije koje uvode copilots, prilagođene AI agente, retrieval-augmented generation aplikacije ili autonomne tokove rada povezane sa Microsoft 365, poslovnim podacima ili eksternim API-jima.

Preporučeni sledeći koraci

Organizacije bi trebalo da preispitaju postojeće prakse monitoringa AI sistema i procene da li beleže dovoljno detalja za istraživanje AI-specifičnih rizika.

Ključne aktivnosti uključuju:

• Popis produkcionih AI aplikacija, copilots rešenja i agenata
• Omogućavanje logovanja za prompt-ove, odgovore, pozive alata i preuzeti sadržaj gde je to primereno
• Očuvanje trace-ovanja na nivou konverzacije kroz multi-turn i multi-agent tokove rada
• Dodavanje evaluacionih procesa za grounding, kvalitet i usklađenost sa politikama
• Usklađivanje AI observability sa procesima upravljanja, revizije i odgovora na incidente

Microsoft-ova poruka je jasna: ako AI postaje deo produkcione infrastrukture, observability mora postati deo osnovnog bezbednosnog standarda.