Hvordan blir statistikk overbevisende?

HVA ANDRE MENER: Relevant og pålitelig statistikk har i mange sammenhenger overraskende liten overbevisningskraft. Kan vi gjøre noe med det?

Publisert Sist oppdatert

Du sitter i en jury og skal ta stilling til skyldspørsmålet i en sak der en hund er blitt påkjørt og drept.

Eieren av hunden krever at de Blå bussene straffes for påkjørselen.

Spor etter dekkmønster på hunden og gjerningsstedet tilsier at det er helt sikkert at det er en buss som har kjørt på hunden og hele 90 prosent av alle bussreiser forbi skadestedet i relevant tidsperiode ble gjort av de Blå bussene.

Er dette tilstrekkelig for dømme de Blå bussene til økonomisk erstatning?

Studier tyder på at de fleste ikke ville anse den statistikkbaserte argumentasjonen som sterk nok til å dømme de Blå bussene.

Dette til tross for at de er enige i at det er svært sannsynlig at de Blå bussene er de skyldige. Det interessante er endringen som skjer når scenariet blir endret til at det er en person som vitner at han observerte at det var en Blå buss som kjørte på hunden, og vitneanalyser viser at det er 90 prosent sannsynlig at vitneobservasjonen er korrekt.

Sannsynligheten for at de Blå bussene er de skyldige oppleves å være omtrent den samme i begge scenariene. Til tross for samme opplevd sannsynlighet for skyld, så vil de fleste synes at bevisene er sterke nok i det siste, men ikke det første scenariet. Denne forskjellen i overbevisningskraft, for objektivt sett samme sannsynlighet for å være skyldig, kalles Wells-effekten, oppkalt etter vitneforskeren Gary Wells.

En rekke studier viser hvor overraskende lav overbevisningskraft relevant og pålitelig statistikkbasert kunnskap har i mange sammenhenger. Selv anekdotisk (enkelthendelse-basert) kunnskap virker ofte like mye eller mer overbevisende enn pålitelig og mer omfattende statistikkbasert kunnskap.

Også valg i it-bransjen påvirkes av dette. I en undersøkelse jeg gjennomførte skulle it-utviklere angi troverdigheten til påstanden fra en verktøy- og kursleverandør. Påstanden var at:

"De aller fleste vil øke effektivitet og kvalitet ved opplæring og bruk av vårt testverktøy.”

Graden av troverdighet til påstanden skulle angis i prosent fra 0 (tror ikke på det i det hele tatt) til 100 (tror fullt og helt på at det er riktig). Deltagerne ble vist ulike varianter av dokumentasjon. Når dokumentasjonen som støttet påstanden bygget på uttalelser fra referansekunder eller leverandørens egen undersøkelse ble troverdigheten til påstanden vurdert til å være ca. 50 prosent.

Med en god årsaks-argumentasjon så økte troverdigheten til ca. 60 prosent. Troverdigheten til påstanden økte til rundt 70 prosent med statistikk fra en grundig effektundersøkelse av en nøytral part.

Dette var den samme graden av troverdighet som ved en dokumentasjon av påstanden basert på at en bekjent som deltok på kurset fortalte at han hadde opplevd at det hadde hjulpet han! Til tross for at undersøkelsen omfattet svært mange utvikleres erfaringer, så var altså overbevisningskraften ikke større enn ved anekdotisk dokumentasjon basert på én persons opplevde erfaring.

Det kan være gode grunner til å være skeptisk til statistiske undersøkelser, selv når disse påstås å være av høy kvalitet og av nøytral part. Dette forsvarer imidlertid ikke at man vektlegger subjektive erfaringer fra en person tyngre når man vurderer troverdigheten til, den i stor grad statistiske, påstanden om at de fleste vil ha nytte av kurset og verktøyet.

Hva er det som gjør at statistikk virker såpass lite overbevisende i mange sammenhenger?

En studie av Hoeken, "Anecdotal, statistical, and causal evidence: Their perceived and actual persuasiveness" gir kanskje noe av svaret. Hoeken fant at hvor lett og klart man ser noe for seg (engelsk: vividness) påvirket hvor mye man lot seg overbevise. Når statistikken klarte å fremstille kunnskap slik at mottageren klart og detaljert kunne forestille seg hendelsene den beskrev, så virket den mer overbevisende enn både anekdotisk og årsaksforklarende informasjon.

En studie av Gibson, Callison og Zillman, ”Quantitative Literacy and Affective Reactivity in Processing Statistical Information and Case Histories in the News”, fant at lav matematikkforståelse ga høyere vekting av anekdotisk og lavere av statistisk kunnskap. Kahnemann og Tversky’s arbeider på mentale strategiene tilsier at vi ofte generaliserer ut fra få typiske eksemplarer og at jo lettere vi finner fram til erfaring som støtter påstanden jo mer troverdig virker den. Dersom anekdotisk kunnskap antas å være typisk eller vi har tidligere kunnskap som samsvarer med anekdoten lett tilgjengelig, så vil anekdoten oppleves å overbevise mer enn, objektivt sett, mer troverdig, statistisk kunnskap.

Ikke overraskende så har markedsførere, politikere og andre meningspåvirkere merket seg at historier og eksempler vi kan leve oss inn i er mye mer overbevisende enn statistikker med nakne prosenter og tall. For oss som blir forsøkt påvirket kan det være nyttig å være klar over hvor lett og hvorfor vi lar oss påvirke av mindre pålitelig, anekdotisk kunnskap, selv når statistikker og undersøkelser av god kvalitet er tilgjengelig.

Kunnskapen kan også være nyttig for de som sitter med god, statistikkbasert informasjon, som ingen vil høre på. Jo bedre man klarer å beskrive resultatene slik at mottageren klarer å leve seg inn i det statistikken er ment å beskrive, jo mer overbevisende vil den virke. Dette vil være ekstra viktig i situasjoner der man ikke kan forvente at mottagerne har gode matematiske kunnskaper.

Magne Jørgensen, Simula Research