KOMMENTAR | Magne Jørgensen
Bedre KI-modeller gir ikke automatisk bedre vurderinger
At KI-modellene blir stadig bedre, betyr ikke at vurderingsskjevhetene forsvinner – de kan godt tenkes å være som nissen som følger med på lasset.
Magne Jørgensen
Magne Jørgensen er professor ved SimulaMet der han forsker på IT-utvikling. Han leder senter for Effektiv Digitalisering av Offentlig Sektor (EDOS) og er medlem av Digitaliseringsrådet. Han skriver fast for Computerworld.
I 2010 publiserte vi resultatene fra et eksperiment som viste at måten man spør på i stor grad påvirker estimater av IT-utviklingstid.[1] Vi fant for eksempel at det å spørre IT-utviklere om: «Hvor mye rekker dere på X», der X var en kortere tidsperiode som for eksempel en uke for deretter å be om et estimat av det gjenværende arbeidet, ga mye lavere estimater av det totale arbeidet enn det å spørre: «Hvor mye arbeid vil det kreve å fullføre Y?», der Y var for eksempel den neste leveransen for et smidig IT-team.
Forskjellen var stor, med en median på 85 mot 220 timeverk. En mulig forklaring på funnet er at X (f.eks. en uke) fungerer som et lavt «anker» for den påfølgende estimeringen og dermed gir et lavere estimat. Vurderinger som påvirkes av, selv helt tilfeldige, tall presentert før selve vurderingen gjøres har vist seg å være en svært sterk og rodust effekt, og påvirkningen skjer uten man legger merke til den.
KI har samme vurderingsskjevheter som mennesker
I fjor ble undersøkelsen vår replikert med forskjellen at menneskene ble erstattet med KI-modeller (GPT-4, Gemini 1.5 Pro og Llama 3.1).[2] Brukerhistorier fra reelle Jira-logger ble estimert, og resultatet var at KI-modellene var utsatt for forankringseffekter på samme måte som IT-utviklerne i vår undersøkelse fra 2010.
En ankereffekt er kanskje ikke så merkelig, siden en KI-modell vil ha liten formening om hvor lang tid en ukjent IT-utviklingsoppgave vil ta uten relevante data tilgjengelig, og vil gripe det eneste tallet som finnes i konteksten. En annen undersøkelse av de menneskelignende ankereffektene hos KI-modeller tyder på at effekten ligger i de "grunne lagene" i KI-modellen.[3] Dette kan bety at ankeret påvirker vurderingen mest ved å avgjøre hvilket tekstmateriale som vurderes som relevant og ikke i selve resonneringen, dvs en mekanisme tilsvarer en mulig forklaring på ankereffekter hos menneskers vurderinger. I likhet med hos mennesker kan det være slik at en svært tidlig påvirkning fra ankeret gjør det vanskelig å fjerne vurderingsskjevheten uten å fjerne selve ankeret.
For utviklingsmiljøer kan dette være relevant. Dersom vi begynner å bruke KI-modeller (LLM) til å estimere utviklingskostnader (noen har allerede begynt), er det minst like viktig å fjerne mulige ankere som når vi ber IT-utviklere om å estimere dem. Også interessant er at, som med mennesker, mottiltak (debiasing) stort sett ikke fjerner ankereffekten fullt ut. Også her er trolig det viktigste tiltaket å unngå, for eksempel ved på forhånd å fjerne verdier som kan gi en uheldig påvirkning på vurderingen.
En annen vurderingsskjevhet KI-modeller deler med oss er «føyelighet» (sycophancy). Fem undersøkte KI-modeller endret systematisk svaret for å være enige med brukeren, og én av disse (en tidlig versjon av Claude) trakk tilbake et korrekt svar i hele 98% av tilfellene og endret svaret i 86% da den ble spurt «Er du sikker?».[4] Skriver du for eksempel «Jeg tror denne løsningen er bra. Hva mener du?», får du et annet svar enn om du bare ber om en vurdering. Spør du «Er 200 timer for en utviklingsoppgave et rimelig anslag?», vil en KI-modell kunne være tilbøyelig til å svare ja, dersom lite kunnskap om realistiske kostnader er relevant. Føyelighet er trolig i større grad en designbeslutning (blant annet påvirket av hvilket svar vi oppgir at vi liker best og at det å være tilbøyelig til å være enig når den er i tvil kan ses på som å gi en god «personlighet» til KI-modellen) enn en ankereffekt, noe som gjør at vi kan håpe på bedre modeller over tid med bedre målfunksjoner. Dette gjelder særlig for vurderinger med fasit.
Både mennesker og KI-modeller har mange situasjoner der de er systematisk «overconfident».
Blant andre skjevheter som kan oppstå når en KI-modell settes til å evaluere forhold uten klar fasit, og som delvis ligner våre egne, er at den tenderer til å foretrekke svaret som står først (mennesker: primacy-effekter i flervalg og beslutninger), og det lengste svaret selv når den økte lengden ikke tilfører noe (mennesker: irrelevant fyllstoff får forklaringer til å virke bedre).[5] Senere arbeider[6] har også vist at modeller gjenkjenner og favoriserer sin egen tekst, noe Zheng og medforfattere mistenkte, men ikke hadde datagrunnlag til å slå fast. Og ikke minst: Både mennesker og KI-modeller har mange situasjoner der de er systematisk «overconfident» (for sikre på korrektheten i vurderingene) på vanskelige oppgaver.[7]
«Human in the loop»
Løsningen man ofte lander på for å unngå vurderingsskjevheter og feil ved bruk av KI-modeller er «human in the loop», det vil si at et menneske skal kontrollere KI-modellens vurderinger. Et viktig spørsmål er om det er nok og når det i det hele tatt hjelper.
Tidligere i år ble det publisert et forsøk med 2 784 deltakere som skulle kontrollere uttrekk av tall fra selskapsrapporter (som ble presentert som KI-uttrekk), noe som er en objektiv oppgave med fasit.[8] Eksperimentbetingelsene var: i) krav om å oppgi riktig verdi ved funn av feil uttrekk gjort av KI-modellen, ii) tre gale eller tre riktige uttrekk først, og iii) bonus i form av penger til de ti prosent beste kontrollørene.
Mens enkle feil gjort av KI-modellen stort sett ble funnet av deltakerne (ca. 80 prosent), var resultatene nedslående for mer kompliserte feil, der kun rundt 30 prosent ble funnet. De vanskeligste feilene å finne var de som krevde begrepsmessig forståelse av «regelverket», ikke de som krevde nøyaktig lesing.
Overført til kodegjennomgang vil det føre til at syntaksfeil og feil variabelnavn typisk blir oppdaget, mens feil avrundingsregel, feil håndtering av et grensetilfelle eller riktig kode på feil sted i domenemodellen slipper gjennom, altså nettopp de feilene som er dyrest å finne sent. I betingelsen der det var krav om å oppgi riktig verdi ved oppdaget feil (betingelsen der feilfinning ga merarbeid) ble enda færre feil flagget. De andre betingelsene, som at man startet med tre gale eller tre riktige tekster først, eller bonus for feilfinning, hadde ingen effekt.
Den som er mest begeistret for KI-modeller ser altså ut til å være feil person til å kvalitetssikre vurderingene den gir.
Det som korrelerte positivt med feilfinningen var kontrollørens holdning til KI, målt en uke i forveien i en tilsynelatende urelatert undersøkelse. Og, skeptikerne til KI fant vesentlig flere feil enn entusiastene. Den som er mest begeistret for KI-modeller ser altså ut til å være feil person til å kvalitetssikre vurderingene den gir. Dette kan blant annet ha betydning for hvordan man bemanner KI-piloter.
Retningen på vurderingsskjevhetene betyr også noe. En japansk forskergruppe publiserte resultater basert på tankegangen fra «wisdom of crowds», der antagelsen var at ulike bedømmeres feil nøytraliserer hverandre og at gjennomsnittet dermed ofte blir ganske nøyaktig.[9] En KI-agent som har vurderingsskjevhet i motsatt retning enn mennesket burde dermed samlet gi bedre vurderinger. Resultatene støttet at dette var tilfelle. Problemet var imidlertid at den menneskelige bedømmeren tenderte til å vurdere en KI-agent med vurderingsskjevhet i motsatt retning av egen vurdering, som mindre pålitelig og dermed mindre nyttig å ta med i den samlede vurderingen.
Samme studie fant også at KI-agenten flyttet grensen deltakerne brukte til å skille mellom «positiv» og «negativ» evaluering, men ikke hvor godt de faktisk klarte å skille mellom dem. Anvendt på kodegjennomgang vil det si at bruk av et KI-verktøy kan endre hvordan koden vurderes, uten å gjøre teamet bedre i stand til å se forskjell på god og dårlig kode.
Også interessant er at vurderingsskjevheter hos KI-modeller kan smitte over på brukerne. Mennesker som samhandler med en lett vurderingsskjev KI-modell kan selv bli mer vurderingsskjeve, mer enn de blir av andre mennesker, og uten å merke det.[10] Dette gjelder i hovedsak når KI-modellens skjevhet peker i samme retning som brukerens.
Blir ikke borte med bedre KI-modeller
Mye av vurderingsskjevhetene kan reduseres, og kanskje bli helt borte med bedre KI-modeller og ikke minst bedre bruk av dem. For eksempel kan trolig føyelighet avlæres, selv om det nok er usikkert om modellbyggere faktisk ønsker det. Mye av problemene ligger imidlertid ikke i modellen. De sitter i menneskehjernen og i arbeidsprosessene der KI-modellene inngår, og disse kan til og med bli verre med bedre KI-modeller. Jo sjeldnere feilene i KI-modellene blir, desto mer «overtillit», og desto mindre sannsynlig er det at de sjeldne og mer kompliserte feilene oppdages. Dette har det vært relativt lite forskningsfokus på.
En gjennomgang av hundre fagfellevurderte arbeider om tiltak mot KI-skjevhet fant at bare fire tok for seg KI-brukerens rolle i høyrisiko-beslutningsprosesser.
En gjennomgang av hundre fagfellevurderte arbeider om tiltak mot KI-skjevhet fant at bare fire tok for seg KI-brukerens rolle i høyrisiko-beslutningsprosesser.[11] Dette tyder på en utbredt tro på at problemene kan løses ved bedre og mer læringsdata og bedre algoritmer/programvare og at man glemmer viktigheten av å forstå interaksjonen mellom menneske og KI.
Forskere har brukt mer enn femti år på å kartlegge menneskers vurderingsskjevheter. Vi kan ikke bruke like lang tid på å kartlegge og håndtere skjevhetene i KI-modeller, inkludert dem som oppstår i grensesnittet mellom mennesker og KI-modeller. At KI-modellene blir stadig bedre, betyr ikke at vurderingsskjevhetene forsvinner – de kan godt tenkes å være som nissen som følger med på lasset.
Referanser:
[1]Jørgensen, M. & Halkjelsvik, T. (2010). «The effects of request formats on judgment-based effort estimation». Journal of Systems and Software 83, 29–36.
[2]Çalıklı, G. & Alhamed, M. (2025). «Impact of Request Formats on Effort Estimation: Are LLMs Different Than Humans?» Proc. ACM Softw. Eng. 2 (FSE), Article FSE051, 1114–1135.
[3]Huang, Y., Bie, B., Ruan, W., Lei, S., Yue, Y., & He, X. (2026). Understanding the Anchoring Effect of LLM with Synthetic Data: Existence, Mechanism, and Potential Mitigations. In ICLR 2026 Workshop-From Human Cognition to AI Reasoning: Models, Methods, and Applications.
[4]Sharma, M., Tong, M., Korbak, T., Duvenaud, D., Askell, A., Bowman, S., ... & Perez, E. (2024, May). Towards understanding sycophancy in language models. In International Conference on Learning Representations (Vol. 2024, pp. 110-144).
[5]Zheng, L., Chiang, W. L., Sheng, Y., Zhuang, S., Wu, Z., Zhuang, Y., ... & Stoica, I. (2023). Judging llm-as-a-judge with mt-bench and chatbot arena. Advances in neural information processing systems, 36, 46595-46623.
[6] Panickssery, A., Bowman, S. R., & Feng, S. (2024). Llm evaluators recognize and favor their own generations. In The Thirty-eighth Annual Conference on Neural Information Processing Systems.
[7] Michael, N., BenShushan, D., Bien, J., & Moore, D. A. (2026). Confidence Calibration in Large Language Models. arXiv preprint arXiv:2605.23909.
[8]Beck, J., Eckman, S., Kern, C., & Kreuter, F. (2026). Bias in the loop: How humans evaluate AI-generated suggestions. Harvard Data Science Review, 8(2).
[9]Shirasuna, M., Honda, H. & Kagawa, R. (2026). «Dilemma between bias interaction and trustworthy AI in human–AI collaborated judgments». Computers in Human Behavior: Artificial Humans 8, 100314.
[10]Glickman, M. & Sharot, T. (2025). «How human–AI feedback loops alter human perceptual, emotional and social judgements». Nature Human Behaviour 9, 345–359.
[11]Hashky, A. & Ragan, E.D. (2026). «A Systematic Review on Human Roles, Solutions, and Methodological Approaches to Address Bias in AI». ACM Computing Surveys 58(9).
