Azure Maia 200 smanjuje AI troškove za Copilot

Uvod: zašto je ovo važno

Usvajanje AI-ja je sve više ograničeno troškovima i kapacitetom inference-a—posebno za organizacije koje skaliraju asistente, copilote i domenski specifične agente. Microsoft-ov novi Maia 200 akcelerator direktno cilja ovo usko grlo poboljšanjem ekonomike generisanja tokena, što se može prevesti u bolju latenciju, veću konkurentnost i potencijalno niže troškove rada za AI servise isporučene kroz Azure i Microsoft-upravljana iskustva kao što je Copilot.

Šta je novo sa Maia 200

Namenski dizajniran za inference

Maia 200 je konstruisan posebno da maksimalizuje inference throughput i iskorišćenost za moderne velike modele:

• Napredni proces i low-precision compute: Izgrađen na TSMC 3nm sa native FP8/FP4 tensor cores. Microsoft tvrdi da svaki čip isporučuje >10 petaFLOPS FP4 i >5 petaFLOPS FP8 unutar 750W SoC TDP okvira.
• High-bandwidth memorija i on-chip SRAM: Redizajnirani memorijski sistem uključuje 216GB HBM3e na 7 TB/s plus 272MB on-chip SRAM, uz mehanizme za pomeranje podataka koji su namenjeni da efikasno „hrane“ velike modele.
• Scale-out dizajn zasnovan na standardnom Ethernet-u: Dvostepena scale-up mreža koristi standard Ethernet sa prilagođenim transportnim slojem i integrisanim NIC-om, izlažući 2.8 TB/s dvosmernog namenski dodeljenog scale-up propusnog opsega i podržavajući predvidljive collective operacije kroz klastere do 6,144 akceleratora.

Microsoft-ove tvrdnje o performansama i efikasnosti

Microsoft pozicionira Maia 200 kao svoj najperformantniji first-party silikon do sada i navodi:

• ~30% bolji performance per dollar u odnosu na najnoviju generaciju hardvera koji je trenutno u Microsoft-ovoj floti
• FP4 performanse, prema tvrdnjama, na nivou 3x u odnosu na Amazon Trainium (3rd gen), a FP8 performanse iznad Google TPU v7 (prema Microsoft-ovim objavljenim poređenjima)

Integracija u Azure i preview Maia SDK

Maia 200 je dizajniran da se integriše u Azure control plane za bezbednost, telemetriju, dijagnostiku i upravljanje na nivou čipa i rek-a. Microsoft takođe u preview režimu nudi Maia SDK, uključujući:

• PyTorch integraciju
• Triton compiler i optimizovanu biblioteku kernela
• Pristup low-level programskom jeziku (NPL)
• Simulator i kalkulator troškova za raniju optimizaciju

Uticaj za IT administratore i platform timove

• Za Microsoft 365 Copilot korisnike: Maia 200 je namenjen da opslužuje više modela, uključujući najnovije GPT-5.2 modele iz OpenAI, što može poboljšati odziv i skaliranje pod opterećenjem kako se kapacitet bude širio.
• Za Azure AI buildere: Očekujte rastući skup Maia-potkrepljenih SKU-ova/servisa koji mogu ponuditi bolji odnos cene i performansi za inference-intenzivne aplikacije, posebno one optimizovane za FP8/FP4.
• Za governance i operacije: Nativna integracija u Azure control plane sugeriše da bi Maia deployment-i trebalo da se uklapaju u postojeće operativne obrasce (monitoring, pouzdanost i bezbednosne kontrole), uz manje trenja u odnosu na bespoke AI infrastrukturu.

Detalji o uvođenju

• Dostupan region (inicijalno): US Central (blizu Des Moines, Iowa)
• Sledeći region: US West 3 (blizu Phoenix, Arizona)
• Više regiona je planirano tokom vremena.

Akcione stavke / sledeći koraci

1. Pratite Azure service updates za Maia-potkrepljene inference opcije (SKU-ovi, regioni, kvote) relevantne za vaša radna opterećenja.
2. Procijenite spremnost preciznosti modela (FP8/FP4 kompatibilnost i zahtevi tačnosti) radi optimizacije troška/performansi.
3. Pridružite se Maia SDK preview-u ako gradite prilagođene inference stack-ove i želite da procenite putanje portovanja/optimizacije kroz heterogene akceleratore.
4. Planirajte regionalni kapacitet: ako su vaše AI aplikacije osetljive na latenciju, razmotrite kako dostupnost u US Central/US West 3 mapira na vašu korisničku bazu i potrebe za rezidentnošću podataka.