Med høy presisjon

Svaret var at omviseren hadde fått vite av en forsker at fossilen var hundre millioner år gammel. Han hadde jobbet på museet i fem år siden den gang. Derav hundre millioner og fem.

Jeg så nylig kostnadsestimatene for noen store offentlige it-prosjekter. Presisjonen i så å si alle estimatene var forbløffende høy.

For eksempel så ble et av it-prosjektene estimert til å koste 1427 millioner kroner.

Betydde presisjonen i estimatet at man trodde at kostnadene ville være, for eksempel, mellom 1426 og 1428 millioner?

Neppe.

Mer trolig er at 1427 millioner framkom som en sum av relativt oversiktlige og svært uoversiktlige kostnadselementer. Litt som beregningen til omviseren fra naturhistorisk museum.

Et estimat på 1500 millioner kroner ville trolig ha kommunisert usikkerheten i estimatet mye bedre. Prosjektet endte for øvrig opp med å koste 1.696 millioner kroner.

Ved Simula har vi gjennomført undersøkelser på kommunikasjon av kostnadsusikkerhet til it-investeringer. Vi ønsket blant annet å vite mer om hvordan presisjon i estimater forstås og brukes til å indikere usikkerhet til prosjektet, kompetanse til de som estimerer og troverdighet til estimatet.

Tidligere forskningen på dette området tyder på at presise anslag fører til at mottageren vurderer den som kommer med anslaget til å være mer kompetent og at nøyaktigheten i anslaget er stor.

Ikke minst synes det å være slik at mer presise anslag påvirker vurderinger og handlinger sterkere enn anslag som har en eller flere nuller til slutt. En urealistisk høy prisantydning på 1190 kr vil for eksempel typisk føre til høyere salgspris på en vare enn en prisantydning på 1200 kr.

Vi fant at kun få offentlige og private it-aktører brukte estimatpresisjon bevisst til å si noe om usikkerheten i anslagene. Mesteparten anga altfor presise kostnadsanslag gitt den underliggende usikkerheten.

Forskning tyder på at it-prosjekter i ca. 90 prosent av tilfellene bruker  mellom -50 prosent og +100 prosent av estimert timeverk. Et prosjekt estimert til 2134 timeverk vil derfor kunne være rimelig å kommunisere som ca. 2000 timeverk.

Allerede her ser vi imidlertid problemer med å angi usikkerhet ved hjelp av presisjonen i estimatet. Hva betyr ca. 2000 timeverk?

Betyr det at det er sannsynlig å bruke mellom 1.500 og 2.500, mellom 1.000 og 3.000, eller noe helt annet? Og hva menes med sannsynlig i denne sammenhengen?

Kommunikasjon av estimeringsusikkerhet gjennom estimatpresisjon ser ut til å være ganske upresis.

Vi spurte it-kunder om hvordan de ville tolke usikkerhet til estimater på 2.000 og 8.000 timeverk. Svarene spriket svært mye.

I gjennomsnitt oppfattet deltakerne ca. 2000 timeverk å indikere et timeforbruk mellom 2000 og 2500 timeverk og ca. 8000 timeverk et timeforbruk på mellom 7000 og 10.000 timeverk. De oppfattet altså de avrundende estimatene 2000 og 8000 som bortimot minimum og la på ca. 25 prosent for å finne maksimum.

Tolkningene til de enkelte er trolig basert på erfaring fra tidligere it-prosjekter, men langt fra opplagt og spriker mye.

Vi undersøkte også sammenhenger mellom presisjon i estimater og vurdering av kompetanse og troverdighet til estimatet.

Vi laget et scenario der fire ulike prosjektledere hadde presentert hvert sitt estimat for det samme it-prosjektet.

Estimatene var på 1020 timeverk, 1000 timeverk, mellom 900 og 1100 timeverk, og mellom 500 og 1500 timeverk.

Prosjektlederen som hadde kommet med estimatet mellom 900 og 1100 timeverk, det vil si det smaleste intervallet, ble vurdert til å være den klart mest kompetent, mens prosjektlederne med estimatene 1.020 timeverk og mellom 500 og 1.500 timeverk de minst kompetente.

Kanskje mest overraskende var at når deltakerne fikk vite at faktisk arbeidsmengde var 1.200 timeverk, så vurderte de at prosjektlederen med 900-1.100 timeverk hadde truffet best og prosjektlederen med 1.020 timeverk dårligst.

Prosjektlederen som faktisk hadde klart å kommunisere usikkerheten godt, med estimatet 500-1500 timeverk, ble vurdert til å ha truffet dårlig.

Over-presisjon i intervall-estimat ble med andre ord belønnet både i forkant og etterkant, mens det motsatte var tilfelle for det over-presise enkeltestimatet og det realistisk brede intervallet.

Resultatene våre peker i retning av at usikkerhet i estimatene ikke kan eller bør baseres på estimatpresisjon, uten at vi dermed finner det meningsfullt å angi usikre estimater med høy presisjon.

Det synes imidlertid å være klart bedre å angi intervall-estimater, helst med tilhørende sannsynlighet, som for eksempel at det er 85 prosent sannsynlig at prosjektet vil bruke færre enn 1500 timeverk. Dette er for øvrig i tråd med hvordan ekstern kvalitetssikring av store offentlige it-prosjekter gjøres (KS2).

Hovedproblemet her er at det viser seg å være vanskelig å få prosjekter til å angi brede nok intervaller. Resultatene ovenfor peker på en mulig grunn til dette. Realistisk brede kostnadsintervaller synes å medføre at man evalueres til å være mindre kompetent enn ved å levere urealistisk smale intervaller.

Vi må både våge å ta i nok når vi angir usikkerhet og belønne anslag som viser realistisk brede intervaller for at vi skal bli bedre på usikkerhetshåndtering. I mange større it-prosjekter vil det bety at et budsjett basert på 85 prosent sikkerhet å holde (p85-estimat), bør ha et tillegg på 50-100 prosent av estimatet.

Et tillegg på 50-100 prosent gjenspeiler hva vi vet om usikkerheten i mange typer it-prosjekter mye bedre enn dagens typiske påslag på 10-30 prosent.