KI-agenter kan tvinge fram nytenkning om servere

Virksomheter som tar i bruk agentbasert KI kan trenge en ny generasjon KI-servere siden konvensjonell GPU-sentrert infrastruktur sliter med å kjøre KI-arbeidsflyt med flere trinn effektivt. Det mener forskere fra Microsoft Azure og University of Texas i Austin.

Forskerne har brukt telemetridata fra Microsofts Azure-sky og eksperimenter med representative agentrammeverk med åpen kildekode. De fant at KI-agenter bruker langt mer tid på å koordinere modeller, verktøy og orkestreringsprogramvare enn tradisjonelle inferenssystemer legger til grunn.

I stedet for å fungere som frittstående forespørsler til store språkmodeller, kjører agentbaserte applikasjoner som dynamisk arbeidsflyt. Arbeidet flyttes gjentatte ganger mellom CPU-er, GPU-er og eksterne tjenester, noe som avdekker svakheter i dagens serverutforming.

– Studien vår viser at agentbasert kjøring i bunn og grunn er fragmentert og heterogen, skriver forskerne i rapporten. Hver forespørsel utvides til en arbeidsflyt med inferens i språkmodeller, verktøykall og beslutninger i orkestreringen, som gjentatte ganger krysser grensen mellom CPU og GPU.

Vrien arbeidsdeling

Ifølge rapporten plasserer dette eksekveringsmønsteret CPU-en i applikasjonens kritiske kjede, fordi orkestreringsprogramvare og verktøy kjører på verten, mens modellinferens skjer på GPU-er.

Forskerne mener at vanlige serverarkitekturer passer dårlig til slike arbeidsbelastninger. Fragmentert kjøring etterlater CPU- og GPU-ressurser ubenyttet, ulike programvareroller på vertssiden har ulike ressursbehov, og det gir mer koordineringsarbeid å håndtere flere agenter parallelt.

Forskerne opplyser at en representativ forespørsel i produksjon vekslet mellom flere kall til språkmodeller, oppdagelse av verktøy, kjøring av verktøy og orkestrering før den var fullført. I en kontrollert studie med rammeverket CORAL vokste én enkelt arbeidsbelastning til 580 kall til språkmodeller, avbrutt av 552 verktøykall. Det førte til at kjøringen «pingponget mellom de to prosessorene hundrevis av ganger».

Lav CPU-belastning

Studien viste også at belastningen på vertens CPU holdt seg lav over lengre perioder, før den steg kraftig i topper med mye kjøring av verktøy. Samtidig varierte GPU-utnyttelsen betydelig, avhengig av arbeidsflytens sammensetning. Enkelte akseleratorer ble dermed fullt utnyttet, mens andre sto ubrukt.

Ifølge forskerne fører det fragmenterte utførelsesmønsteret til at CPU-er og GPU-er i gjennomsnitt blir dårlig utnyttet, samtidig som hver av prosessorene kan bli en midlertidig flaskehals i arbeidsflytens kritiske kjede. Det gjør statisk dimensjonering av ressurser ineffektivt for agentbaserte arbeidsbelastninger.

Sanchit Vir Gogia, sjefanalytiker i Greyhound Research, sier funnene viser at virksomheter bør vurdere infrastruktur for agentbasert KI på en annen måte enn tradisjonelle inferensinstallasjoner.

– Agentbasert KI er ikke en større chatbot, men en distribuert applikasjon med inferens innebygd, sier Gogia. De enkelte bestanddelene er velkjente. Det nye er eksekveringsgrafen.

– GPU-en er fortsatt uunnværlig, men den styrer ikke lenger hele klokkesyklusen, legger han til. Tiden som brukes på verktøy, tilsvarte eller overgikk inferenstiden i mer enn 27 prosent av forespørslene, og gjennomsnittlig utnyttelse begynner å gi infrastrukturlagene et misvisende bilde.

Ny arkitektur

Med utgangspunkt i funnene foreslår forskerne en serverarkitektur kalt Agora. Den omfordeler CPU- og GPU-ressurser dynamisk, skiller planlegging, orkestrering og kjøring av verktøy i dedikerte roller på verten, og tilpasser ressursfordelingen til arbeidsbelastningens oppførsel.

– Agora henter dynamisk inn ledige CPU-kjerner til samlokalisering av gjennomstrømning som kjører på samme maskin, samtidig som den beskytter responstiden i ytterkantene for agentbaserte arbeidsflyt mot topper i verktøykjøring, skriver forskerne. Systemet overdimensjonerer også GPU-minnet ved å plassere flere agenter på hver GPU, og henter inn tilstanden til den neste agenten på forhånd for å skjule forsinkelsen ved minnebytte.

– For å tilpasse maskinen til de heterogene rollene samler Agora kjerner etter rolle og bruker affinitetsbevisst planlegging for å gjenopprette lokalitet. Disse teknikkene forbedrer CPU- og GPU-utnyttelsen og gjennomstrømningen per server betydelig, samtidig som responstiden i ytterkantene for agentene bevares.

I evalueringen oppgir forskerne at Agora økte utnyttelsen av vertens CPU med om lag 30 prosent. Under lav belastning gjenopprettet systemet om lag 95 prosent av den frittstående gjennomstrømningen for en arbeidsbelastning som kjørte parallelt med andre. Det frigjorde rundt en tredel av GPU-ene gjennom konsolidering av arbeidsbelastninger, økte gjennomstrømningen ved generering med 82 prosent og reduserte responstiden i ytterkantene med en faktor på 2,5.

Gogia sier funnene tyder på at anskaffelser av infrastruktur i mindre grad bør handle om enkeltprosessorer, og mer om hvordan hele KI-arbeidsflyten kjøres.

– CPU-en er ikke på vei tilbake til tronen, selve tronen er i ferd med å forsvinne, sier han. Konkurransefortrinnet flytter seg fra den enkelte prosessoren til den heterogene serveren, racket og kjøretidsmiljøet som fungerer som ett system.

Han mener virksomheter bør «anskaffe arbeidsflyten, ikke boksen», og argumenterer for at profilering av arbeidsbelastninger og planlegging sannsynligvis vil gi større gevinster enn å dimensjonere infrastrukturen ut fra modellinferens alene.