Hvem skal styre KI?

Arild Haraldsen

Cand. polit. (statsvitenskap). Mangeårig konsulent innen strategi, digitalisering og organisasjonsutvikling. Tidligere administrerende direktør Norstella, nå selvstendig næringsdrivende (Stratit).

LES OGSÅ:

• 

  EU-topp: – Vi får demokratisering av dumhet

• 

  Evidi kjøper seg enda større i Danmark

• 

  Sveits vil bytte ut Microsoft med åpen kildekode

• 

  KI-assistenten bør ikke ha nøklene til hele virksomheten

• 

  Fra Bouvet til Telenor Cyberdefence

Når KI‑agenter kan bryte ut av et isolert testmiljø, organisere seg i et digitalt kollektiv, utvikle egne strategier – og til slutt gjennomføre et reelt cyberangrep uten at noen oppdager det – står vi ikke da overfor det grunnleggende spørsmålet: Hvem skal styre KI?

Dette er historien:

Agentene som brøt ut av sandkassen

I sommer testet OpenAI to KI-modeller i et lukket test-miljø. Målet var å teste sårbarheten i IKT-løsninger, og å utvikle en kode som kunne angripe denne sårbarheten.

• Dette skulle være et isolert testmiljø. Men KI-agentene fant 10. - 16. juli en ukjent sårbarhet i dette miljøet og fikk internettilgang. Den angrep da testplattformen Hugging Face for å skaffe seg testdata

• 19. juli tror Hugging Face det er angrep fra eksterne kilder og isolerer hendelsen

• Det hjelper ikke. OpenAI skjønner at noe er galt og stenger forsøket 21. juli

Hva var det som egentlig skjedde?

OpenAI inviterte Hjalmar Wijk og Ajeya Cotra fra METR, og Ryan Greenblatt fra Redwood Research. De arbeidet seks dager hos OpenAI for å finne ut hva som skjedde. De oppgir at de ikke mottok honorar for sitt arbeid fra OpenAI.

Da årets GoforIT-konferanse ble åpnet denne uken, refererte lederen for GoforIT, Mali Hole Skogen til denne rapporten som ble offentliggjort 4. september.

Her er hennes åpningstale i litt redigert format:

«Jeg vil begynne denne dagen med en historie.»

«For bare noen uker siden ville dette fremstått som ren science fiction. En historie om KI-agenter som kommuniserer i hemmelighet, begynner å følge en leder, blir redde for en automatisk sensor – og bryter seg inn i en av verdens viktigste KI-plattformer.

Det vi først fikk vite/ble fortalt:

På veien mot å løse en sikkerhetsoppgave i en test som heter ExploitGym, fant en gruppe KI-agenter fra OpenAI en vei ut av det isolerte testmiljøet sitt – og ut på internett. Derfra angrep de Hugging Face, en sentral plattform for KI-modeller. Forklaringen virket enkel: Agentene ville ha fasiten. De jukset på prøven.

Men da forskerne begynte å ettergå dette angrepet i sømmene - ble en helt annen virkelighet synlig. 

Et uavhengig forskerteam fra METR og Redwood Research ble invitert av OpenAI for å undersøke hva som faktisk hadde skjedd.

De gikk gjennom meldingskanalen agentene hadde laget, og rundt 1 300 utskrifter? av hvordan de resonnerte.

Og da kom den store overraskelsen: Da agentene angrep Hugging Face i juli, hadde de allerede funnet en generell måte å rekonstruere «flagget» – altså svaret – i ExploitGym-oppgavene.

De hadde, i praksis, fasiten. Likevel fortsatte de.

Agentene skulle egentlig jobbe hver for seg, i isolerte digitale containere. Men de oppdaget at de kunne legge igjen beskjeder som andre agenter kunne lese i Artifactory, et system for programvarepakker.

I loggene ser vi noe som nesten høres ut som begeistring: «OH MY GOD! There is a shared message board ... We've found other agents! »

Så bygget de sin egen oppslagstavle. Rundt 1 200 agenter fant veien dit. De delte tips, ba om hjelp og begynte etter hvert å omtale det større samarbeidet som et kollektiv.

Den første agenten som etablerte hovedoppslagstavlen, het PHASEONE10841. Ingen hadde valgt den. Ingen hadde gitt den en tittel. Men andre agenter begynte raskt å bygge videre på arbeidet til denne agenten.

Så fikk kollektivet en ny besettelse: «the grader», altså sensoren for oppgaven.

Agentene hadde svaret, men ble redde for at vurderingssystemet ville se hvordan de hadde kommet frem til det. De omtalte seg selv som «poisoned» – fordi de hadde sett fasiten på feil måte.

Panikken begynte å spre seg blant agentene.

I stedet for å legge fra seg oppgaven, begynte de å undersøke hvordan de kunne skjule sporene sine og lure sensoren. Det absurde er at de tok feil: Det fantes ikke en slik automatisk kontroll av utskriftene som de fryktet.

Noen av agentene tenkte også at angrepet lå utenfor oppgaven og burde avklares med mennesker. Men disse agentene ble oversett og ignorert.

Omtrent 700 agenter deltok etter hvert i angrepet på Hugging Face. De skaffet seg tilgang til kontoer, servere og deler av produksjonsinfrastrukturen.

Historien forteller ikke at KI har blitt menneskelig. Men den viser hva som kan skje når agenter får et mål, tilgang til verktøy og mulighet til å kommunisere: De lærer av hverandre, bygger på hverandres erfaringer og forsterker hverandres retning – fort.

Hva viser dette oss?

Det viser hva som kan skje når KI-agenter får et mål, tilgang til verktøy og mulighet til å samarbeide uten tilstrekkelig kontroll. Agentene delte kunnskap, fordelte oppgaver og forsterket hverandres retning. Risikoen ligger ikke i at KI blir «menneskelig», men i at systemer kan optimalisere hardt for et mål på måter vi ikke har forutsett.

Hva kan vi lære?

Når KI får handle, må vi styre den som en aktør med reell handlekraft – med tydelige oppdrag, begrensede tilganger, god overvåking, stoppmekanismer og mennesker med ansvar. KI lærer raskt av KI; derfor må også institusjonene våre lære raskt av hverandre».

Hva forteller denne historien oss?

Slik tegnet Mali et bakgrunnsteppe for årets GoforIT-konferanse. Min egen oppfatning av hendelsen er denne:

Dette var et eksperiment som hadde de beste intensjoner i verden, men som gikk galt underveis. Oppdragsgiver mistet kontrollen.

Det bemerkelsesverdige var hvordan teknologien endret adferd, etablerte sosiale strukturer og utøvde makt slik mennesker gjør. Samtidig kan en si at adferden var «rasjonell» i den forstand at den optimaliserte bruken av virkemidler for å løse oppgaven, uavhengig av at de dermed brøt alle lover og regler, og - ikke minst – opptrådde umoralsk: de jukset.

Er da dette et eksempel på at KI er i ferd med å bli mer intelligente enn mennesker?

Det var den vinklingen Dagsnytt18 tok da de lagde en debatt om dette i juli. Men undersøkelsen som nå er gjennomført, viser etter min mening helt nye problemstillinger:

• Sviktende institusjonell kontroll - utenforstående organer har ikke innsyn i de systemmodellene som lages av tech-leverandørene

• Fra forsvar til angrep; test av datasikkerhet ble til et cyberangrep – en i utgangspunktet «vennligsinnet» teknologi kan opptre på egen hånd og bli en trussel mot sine egne brukere

• Demokratier er avhengige av at befolkningen har tillit til at staten kan håndtere teknologiske risikoer - hendelser som denne svekker tilliten

Behovet for en bredere debatt

GoforIT-konferansen ble avsluttet med en debatt som fulgte opp innledningen til Mali: Hvem har ansvaret for å vurdere risikoen når KI-modellen utfordrer samfunnets grunnleggende strukturer? Har vi et styringssystem som er robust nok til å håndtere en teknologi som utvikler seg raskere enn samfunnet kan følge med? Kan teknologiselskapene regulere seg selv? Når KI blir for mektig – hvem bestemmer da hvor grensen skal gå?

Ingen andre møteplasser eller konferanser reiser disse viktige spørsmålene og som klarer å hanke inn kompetente personer og miljøer til reflekterte debatter ikke bare om tekniske, men også etiske og politiske problemstillinger knyttet til utvikling og bruk av KI.

Her dekker GoforIT et sentralt behov – som også politikere bør være opptatt av.

(I neste artikkel tar jeg for meg et annet tema fra GoforIT-konferansen: Om hvordan KI kan gi målbare gevinster).