KOMMENTAR | Hans-Petter N.-Hansen
Bruker KI til å avsløre om KI har skrevet politikken
Aftenposten har kjørt over tre hundre forslag fra Stortinget gjennom en KI-detektor og konkludert med at mer enn hvert tredje inneholder KI-generert tekst.
Men verktøyet som skal avsløre KI, er selv upålitelig, og skillet mellom å bruke KI som hjelpemiddel og å la KI skrive innholdet forsvinner fort i overskriftene.
Derfor mener jeg at den egentlige historien ikke handler om hvor mye Stortinget har brukt KI til, men om hvor raskt vi lar mistanke erstatte innhold og vurdering.
Det Aftenposten fant
Aftenposten har kjørt 325 representantforslag fra inneværende stortingssesjon gjennom KI-detektoren Pangram, og konkluderer med at 112 av dem, mer enn hvert tredje forslag, inneholder KI-generert tekst. Fem forslag ble vurdert som skrevet fullt og helt av KI. Det skjer samtidig som antallet representantforslag har satt ny rekord denne sesjonen, 324 forslag mot 268 i forrige sesjon og under 200 i hver sesjon tidlig på 2000-tallet, ifølge Aftenpostens politiske redaktør Kjetil B. Alstadheim.
Representanter som er spurt om saken, forklarer selv at KI har vært brukt til å bearbeide og strukturere informasjon ut fra politikk partiet allerede har vedtatt, ikke til å finne opp standpunktene fra bunnen av. SV-representant Mirell Høyer-Berntsen sa til Aftenposten at KI ble brukt til å bearbeide oppsett av informasjon basert på partiets eksisterende politikk og ønsket budskap. Det er en vesentlig forskjell som lett forsvinner når en sak koker ned til en overskrift om at KI har skrevet politikken.
Detektorene bommer
Før vi legger for mye i disse tallene, er det verdt å minne om hvor upresise slike verktøy faktisk kan være. Jeg opplevde selv for noen måneder siden å bli anklaget for å skrive som ChatGPT, med henvisning til nettopp den typen setningsoppbygning jeg har brukt i årevis, lenge før ChatGPT eksisterte. Da jeg lot Claude gå gjennom alt jeg publiserte mellom 2020 og 2022, bekreftet gjennomgangen at mønsteret var en dokumentert personlig stil fra lenge før noen språkmodell kunne skrive norsk i det hele tatt.
Konklusjonen var at begge detektor-verktøyene jeg brukte konkluderte med at Brandtzægs kronikk var skrevet av KI.
Jeg har også latt to andre KI-detektorer teste en kommentar skrevet av professor Petter Bae Brandtzæg, som Aftenposten publiserte, der han anklaget andre kommentatorer for å bruke KI. Konklusjonen var at begge detektor-verktøyene jeg brukte konkluderte med at Brandtzægs kronikk var skrevet av KI. Den ene detektoren konkluderte med hele 97 prosent sannsynlighet.
Et av de fem forslagene Pangram mener er hundre prosent KI-skrevet, er for øvrig nettopp SVs eget forslag om strengere regulering av KI. Jeg synes ikke det er oppsiktsvekkende, selv om det er en fristende vinkling fra et journalistisk perspektiv. Det bør ikke være motstridende å være for regulering på den ene siden, og aktiv bruker på den andre. Det er lov å ha to tanker i hodet samtidig.
Hjelp er ikke det samme som å overgi pennen
Det er også en vesentlig forskjell mellom å bruke KI som verktøy og å la KI overta den politiske tenkningen. Den forskjellen fortjener mye mer plass enn den gjerne får i overskriftene. Når en stortingsrepresentant bruker KI til å strukturere et forslag ut fra politikk partiet allerede har vedtatt, er det ikke prinsipielt annerledes enn å bruke et tekstbehandlingsprogram eller be en kommunikasjonsrådgiver om hjelp til disposisjonen.
Det som faktisk ville vært alvorlig, er om selve standpunktene og prioriteringene kom fra maskinen og ikke fra partiets egen politikk. Det spørsmålet kan ikke en detektor svare på, uansett hvor sikker den later til å være på hvor mange prosent av setningene som ligner KI-generert tekst.
Sirkelen ingen kommer ut av
Det som faktisk fascinerer meg mest med denne saken, er ikke Stortingets bruk av KI til å skrive politikk, men at mediene på mange måter har utnevnt seg selv til dommer over hva som er ekte. Og det har de altså gjort ved hjelp av KI-verktøy, utviklet av mennesker som mest sannsynlig har brukt KI i utviklingen, for å avsløre mennesker som bruker KI til å skrive som mennesker.
Det er, mildt sagt, en underlig form for sirkelargumentasjon. Jeg har skrevet om nettopp dette paradokset før, at når KI brukes til å avsløre KI, forsvinner ofte sannheten i prosessen, fordi vi bytter ut en vurdering av selve innholdet med mistanke basert på en sannsynlighetsscore fra en svart boks vi verken forstår eller kan etterprøve.
Hva som faktisk står på spill
Den egentlige faren her er ikke at noen har overgitt dømmekraften sin til et språkmodellverktøy for å skrive et representantforslag raskere. Faren er at vi som lesere, journalister og velgere er i ferd med å overgi vår egen dømmekraft til en detektor vi ikke kan etterprøve.
Når alt kan avvises som KI-skrevet, kan i prinsippet også alt annet avvises på samme grunnlag.
Når alt kan avvises som KI-skrevet, kan i prinsippet også alt annet avvises på samme grunnlag. Derfor mener jeg vi bør stille et enkelt spørsmål hver gang en slik sak dukker opp igjen, nemlig om noen faktisk har sjekket om innholdet er riktig og godt begrunnet, eller om vi bare har sjekket hvordan det er skrevet.
Maskinene blir mektigere for hver dag. Det bør fortsatt være vi som mennesker som har siste ord om hva som er sant.