Visdommen til små grupper

Anta at markedsanalytikerne A og B har anslått fremtidig salg av et nytt it-produkt. Markedsanalytiker A tror at produktet vil selges til 500 og B at produktet vil selges til 900 nye kunder.

Gjennomsnittet av disse to anslagene er (500+900)/2 = 700 salg. Det virkelige antallet salg av it-produktet ble 800. Anslaget basert på gjennomsnittet av anslagene har da en feil på 800-700=100.

Dette er bedre enn den gjennomsnittlige feilen på A og Bs individuelle anslag, siden denne er på ((800-500) + (800-700))/2 = 200.

Det interessante er at uansett hvilken verdi det virkelige salget får, så vil et anslag basert på gjennomsnittet til A og B være minst like nøyaktig som gjennomsnittsfeilen til A og Bs individuelle anslag!

Dersom det virkelige salget ligger mellom A og Bs anslag, så vil gjennomsnittet alltid være mer nøyaktig.

Dersom det ligger utenfor intervallet mellom A og Bs anslag, så vil feilen være den samme. Det er altså ikke mulig at gjennomsnittsfeilen er mer nøyaktig enn feilen til et anslag basert på gjennomsnittet. I en situasjon med mange anslag, så vil denne sammenhengen typisk medføre at vesentlig færre en halvparten har mer nøyaktige anslag enn et anslag basert på gjennomsnittet.

Dersom vi ikke har noe grunnlag for å vite hvem som best til å anslå, så vil det altså være svært lurt å kombinere individuelle anslag.

Nytten av å bruke gjennomsnittet av mange vurderinger støttes av mange studier. Ofte gir slike gjennomsnitt bedre vurderinger enn å forsøke å identifisere den beste eksperten og be om kun ett anslag. Innen it-utvikling er det flere estimeringsmetoder, som for eksempel "Planning Poker", som er basert på å finne gjennomsnittet av uavhengige estimater.

Jobb-ansettelser basert på flertallsbeslutning i en gruppe på 5-6 intervjuere er også et eksempel på bruk av gjennomsnittsbetraktninger.

Bruken av gjennomsnittet av svært mange vurderinger, basert på en tro på "massenes visdom", fikk et ekstra oppsving med boken "The Wisdom of Crowds: Why the Many Are Smarter Than the Few and How Collective Wisdom Shapes Business, Economies, Societies and Nations" av James Surowiecki som utkom i 2005.

Boka oppsummerer anekdoter og studier som støtter opp under hovedbudskapet om at under gitte betingelser, som uavhengighet i vurderinger og spredning i erfaringsbakgrunn, så vil vurderinger basert på massens visdom være de som gir de beste beslutningene.

Massenes visdom vil for tallbaserte anslag typisk være en gjennomsnitt av de individuelle vurderingene uten vekting av ekspertise eller erfaringsbakgrunn.

Nyere forskning trekker imidlertid styrken i disse funnene om massenes visdom i tvil og nyanserer bildet en del.

Flere helt ferske studier tyder på at det svært ofte er lurt å identifisere en mindre gruppe av de beste eksperter og ikke stole på "massenes visdom". En studie av Budescu og Chen ("Identifying Expertise to Extract the Wisdom of Crowds", 2014) viser at dersom man klarte å finne eksperter som systematisk var bedre enn de andre, så lønte det seg å kun ta med disse i betraktning når vurderingen skulle tas.

Dette krevde imidlertid at man klarte å skille "flaks" fra reell ekspertise.

Å kunne skille flaks fra systematisk ekspertise er i det hele tatt et sentralt spørsmål med hensyn til om små eller større grupper eksperter gjør det best. En studie av Goldstein, McAffee og Suri (The wisdom of smaller, smarter crowds, 2014) tyder på at dette lar seg gjøre i en del, men ikke alle, sammenhenger.

Anslag om aksjemarked og økonomiske utsikter er eksempler på områder der det meste synes å handle om flaks og det dermed er grunn til å inkludere svært mange prediksjoner i gjennomsnittet, mens for det for eksempel i ansettelser er viktig å kun inkludere de med relevant ekspertise i vurderingene.

Sir Francis Galton beskrev i "Vox populi" (utgitt i Nature 1907) hvor overrasket han ble over at gjennomsnittet til ikke-eksperters anslag på en okses vekt var svært nøyaktig og bedre enn det til alle ekspertene. Dette eksemplet brukes av flere, og av Galton selv, for å argumentere for at en kombinasjon av relativt ukvalifiserte oppfatninger (folkets røst) gir gode vurderinger.

Massenes visdom kan nok i noen sammenhenger være overraskende god, ikke minst på grunn av den grunnleggende gunstige effekten av å kombinere individuelle, uavhengige vurderinger.

Vi bør imidlertid vokte oss vel for en overtro på massens visdom. Har vi gode grunner til å tro at noen systematisk har vesentlig bedre vurderinger enn andre, så vil en liten gruppe eksperter eller en enkelt ekspert trolig være et bedre valg enn å inkludere større grupper i beslutningen. Problemet er å ikke la seg blende av flaks kamuflert som ekspertise.

Dette gjelder særlig når det er ens egen ekspertise som evalueres.

Rådet til alle oss som stadig må ta beslutninger er: Etterspør uavhengige vurderinger fra mennesker med ulik bakgrunn. Kombiner disse vurderingene uten vekting, for eksempel som et gjennomsnitt, med mindre du har god grunn til å tro at din egen eller en utvalgt eksperts vurdering er systematisk vesentlig bedre enn de andres.

Magne Jørgensen