DEBATT | Dag Honningsvåg
Hvem har ansvaret når KI tar feil?
Hva skjer når kunstig intelligens tar feil beslutning, og hvem er egentlig ansvarlig? Det er spørsmål som nå diskuteres i styrerom verden over. Hva bør en KI-agent egentlig få lov til å gjøre helt på egenhånd, og hvor går grensen for når et menneske må ta beslutningen?
Agentbasert kunstig intelligens er ikke lenger et begrep for spesielt interesserte. Det er i ferd med å bli en del av den operative hverdagen i mange bedrifter. Det brukes til alt fra å lese dokumenter, analysere informasjon, foreslå løsninger og utføre oppgaver ene og alene. Teknologien kan til og med handle uten ett eneste menneske involvert.
Det som tidligere tok dager eller uker, tar nå plutselig timer eller minutter. Gevinstene kan være enorme. Men utviklingen tvinger frem et ubehagelig spørsmål. Nemlig om vi tar i bruk teknologien raskere enn vi klarer å håndtere konsekvensene? Det er på ingen måte sikkert at systemene for styring, kontroll og ansvar utvikler seg like raskt som teknologien.
Det er alvor nå. Diskusjonen har nådd helt til toppen av den internasjonale dagsordenen. Det er ikke uten grunn at Kong Charles samler ledere fra blant annet OpenAI, Anthropic, Google DeepMind og Nvidia til samtaler om felles prinsipper for utviklingen av KI og hvordan det kan gjøres både trygt og ansvarlig.
Dønn umulig
Parallelt vokser mengden maskinskapt innhold ekstremt fort. Begrepet «AI slop» har oppstått som en betegnelse på den enorme mengden KI-generert innhold av lav kvalitet som nå bygges opp. Volumene blir så store at det blir dønn umulig å kontrollere. Det er her det oppstår et paradoks. Dersom løsningen på for mye KI-generert innhold er å sette inn KI for å kontrollere det, kan vi ende opp med systemer der maskiner kontrollerer maskiner. Altså langt unna menneskelig vurdering. Risikoen handler derfor ikke kun om at KI kan gjøre feil. Den handler like mye om at vi kan skalere bruken raskere enn vi etablerer gode nok systemer for styring og ansvar.
En verdensomspennende Deloitte-undersøkelse blant 3235 IT- og bedriftsledere i 24 land illustrerer utfordringen. Kun 21 prosent svarer at bedriften har en moden styringsmodell for agentbasert KI. Samtidig planlegger nær tre av fire bedrifter å ta teknologien i bruk de neste to årene. Det betyr i praksis at mange bedrifter investerer og eksperimenterer uten å besvare det grunnleggende spørsmålet om hvor i arbeidsprosessen et menneske må ta beslutningen, og hvem som har ansvaret når noe går galt?
Kan ikke delegeres
I 99x har vi fått kjenne på problemstillingen i praksis. Under et hackathon bygget mer enn 100 av våre ansatte KI-agenter for reelle arbeidsoppgaver. Det interessante var at de beste løsningene ikke nødvendigvis kom fra teamene med den mest avanserte teknologiske løsningen. De kom derimot fra de som tydeligst hadde definert hvor det menneskelige skjønnet skulle komme inn. Altså hvor i prosessen en konkret person skulle vurdere resultatet, godkjenne det eller stoppe prosessen. Ikke som en formalitet, men som en del av selve designet.
Når KI-agenter får større handlingsrom og påvirker stadig større deler av bedriften, må ansvaret forankres i toppledelsen.
Etter min mening er dette helt avgjørende. Spørsmålet om ansvar kan ikke delegeres til IT-avdelingen eller de som bygger løsningen. Når KI-agenter får større handlingsrom og påvirker stadig større deler av bedriften, må ansvaret forankres i toppledelsen. Det holder ikke å vite hva teknologien kan gjøre. Ledelsen må bestemme hva den får gjøre.
Start med arbeidsprosessene
En KI-agent kan kanskje gjøre ti oppgaver raskere enn et menneske. Men hvis ingen vet hvem som har ansvaret når den ellevte oppgaven går galt, er ikke problemet løst. Det er bare flyttet. Derfor mener jeg at ledere ikke bør begynne med valg av KI-plattform. Start med arbeidsprosessene.
Hvor i bedriften er det uakseptabelt at et menneske ikke er involvert? Hvilke beslutninger kan overlates til en maskin, og hvilke kan ikke? Hvem har beslutningsansvar, og er ansvaret like tydelig når en KI-agent utfører deler av jobben? Dette er lederspørsmål og ikke teknologispørsmål.
