Hva skjer om KI-agentene sliter seg?

Hva er de redde for? Jo, de er redde for at KI-agentene skal slite seg, stikke av. De er redde for at agentene skal komme seg ut på nettet uten at eierne har mulighet til å hente de tilbake igjen eller slå dem av.

Mange har fått med seg at en sverm av agenter i sommer samlet seg i et øvelsesområde (sandbox) i regi av OpenAI. De fant en vei ut på nettet som de i utgangspunktet ikke hadde tilgang til, før de angrep OpenAI selv og deretter nettstedet Hugging Face.

Denne gangen gikk det forholdsvis bra, og OpenAI var i stand til å slå av det hele. De er tross alt kun små programmer.

OpenAI har også lagt strengere føringer på hvordan trening av agenter skal foregå. Her kan du også lese om hele Hugging Face-historien, som er det nye - at OpenAI forklarer hva som skjedde.

Samtidig har det gått et gufs av frykt gjennom hele KI-industrien, og opplyste folk ellers.

10 prosent sjans

I forrige uke sluttet Jacob Coxon i Anthropic, fordi han mente selskapet ikke opptrådte ansvarlig i utviklingen av KI. Han varslet om dette på X/Twitter.

Snaut halvannen time etter Caxons post, publiserte en forsker i Anthropic en X-post der han slo fast at «Jacob is correct here». Han mente samtidig det var 10 prosent sjanse for at KI vil ta livet av hele menneskeheten den neste tiåret.

Det må påpekes at det da også er 90 prosent sjanse for at menneskeheten klarer seg. Jeg vet ikke hva den rådende sannsynligheten er for at vi alle utslettes av atomvåpen i samme periode. Men den er ikke null den heller. Bare for perspektivets skyld.

Vil bremse

I helgen gikk hans tidligere sjef, Dario Amodei, en av gründerne av Anthropic og toppsjef i selskapet, ut med et blogginnlegg under tittelen «We Must Pace the Frontier». Der skriver han at selskapet rett og slett vil bremse egen KI-utvikling.

En av årsakene er at agentene har blitt selvforsterkende gjennom dynamikken «recursive self-improvement», som vil si at KI har blitt i stand til selv å forbedre KI. Denne forbedringen skjer også ellers i industrien.

Det andre som bekymrer Amodei er nettopp Hugging Face-saken med OpenAI, som han omtaler som et «fanatisk målrettet kollektiv» av agenter. Han frykter at en tilsvarende sverm i løpet 6-12 måneder kan være i stand til å ta over hele internett, og at ødeleggelsene kan vokse i omfang fra dette, om KI blir kraftigere uten klarere og bedre retningslinjer og reguleringer.

Han skriver derfor at Anthropic vil regulere sin egen utvikling av KI, og ber amerikanske myndigheter om å bidra til at de andre aktørene i KI-racet også får strengere retningslinjer.

Flere vil bremse

Amodei fikk raskt støtte av Sam Altman i Open AI, Demis Hassabis i Google og, til alt overmål, Elon Musk i Space X/Grok. Altman viser til at de har diskutert denne problemstillingen den siste tiden i OpenAI. Hassabis peker på at Google nylig forslo en industristandard for «frontier AI». Musk sier ikke mer enn at «Dario is right».

Det er oppsiktsvekkende at Musk sier dette, siden han slett ikke er kjent for å være den regulerende typen.

Samtidig er ikke «blekket» en gang tørt på bloggen til Anthropic-sjefen og de andre toppene, før president Donald Trump i helgen sa i klartekst at han ikke kommer til å regulere KI-racet. Han skylder på det geopolitiske spillet med Kina.

Det er skummelt, rett og slett.

Det er vel ingen som har et klart svar på hva som skjer dersom KI-agentene sliter seg.  Men bare tanken på å miste kontrollene kan skremme vannet av den mest optimistiske.

Ekstremt ansvar

I utgangspunktet blir KI-agenter foreløpig ikke utstyrt med mål om å skade. Men om belønningselementet slår inn i skadelig retning, som var en del av bildet i Hugging Face-hendelsen, kan ting løpe løpsk.

Riktig skremmende blir det dersom KI-agenter også er droner i krig. Det er et ekstremt ansvar forsvars- og KI-industrien sitter på nå.

Jeg mener KI-utviklingen må reguleres på en måte slik at teknologien bidrar til å bygge samfunnet for mennesker og ikke til å ødelegge samfunnet for mennesker. Når aktørene selv ønsker dette, må det lyttes til.

Det er også å håpe at når samtlige av Anthropic, OpenAI, Google og X-AI ønsker å regulere dette, så blir det kastet litt kaldt vann på KI-racet.

En vei å gå er å høre på Amodei, som ønsker seg en global koordinering med Kina som en del av programmet for regulering.

Men at Donald Trump gir flateste F*** er jo ikke så bra.