Hvor gode er vi til å forutse kriser?

Hvor gode er vi til å forutse kriser?

KRONIKK: Forskere og andre lager modeller og bruker sin ekspertise for å forstå og forutsi hvordan fremtiden vil se ut. I normaltilstander med små endringer er modellene og ekspertene relativt gode til å forutsi hva som vil hende.

En større gjennomgang av forutsigelsene viser imidlertid at verken modellene eller ekspertene er imidlertid særlig gode til å forutse ekstremtilfeller ("Why forecasts fail. What do do instead" MIT Sloan Management Review, 2010, Makridakis, Hogarth & Gaba). Det skal ikke så mye sjekk av "hva sa ekspertene?" i forkant av store kriser for å gjøre samme observasjon. Man kan for eksempel sjekke hva ekspertene forutsa i forkant av finanskrisen i 2008. En artikkel i Business Week fra desember 2007 gjengir hva 54 ledende eksperter i USA sa om utsiktene for 2008. Alle unntatt to var enige om at det ville bli en vekst i 2008 og ingen forutså noen stor krise.

Gjør man en lignende gjennomgang av hva norske banker, meglerhus og investorer forutsa om 2008 på slutten av 2007, ser vi også her at det er langt mellom bekymringsmeldingene. Investoren Ulltveit-Moe var nokså ensom i dystre spådommer om økonomisk nedgangstider. Interessant nok trodde han ikke nok på egne råd til å følge dem selv, og tapte store beløp på det.

Men, vil noen kanskje argumentere, det er da oftest noen som klarer å forutsi at det vil komme en krise eller annen stor endring. Mye tyder imidlertid på at det aller meste av slike evner er basert på flaks og lite rasjonelle metoder for forutsigelser. Elaine Garzarelli, som var en av de få som anbefalte salg av aksjer i forkant av den økonomiske krisen I 1987, var for eksempel en av de aller mest optimistiske i forkant av krisen i 2008. Studiene publisert i artikkelen "Predicting the next big thing: Success as a signal of poor judgment" (Management Science, October 2010, Denrell & Fang) observerte at personer som oftere forutsa store endringer, og dermed var de som fikk mest oppmerksomhet når de var nesten alene om å få rett, i gjennomsnitt var dårligere til å forutsi fremtiden enn andre.

Argumentasjonene for de mer ekstreme spådommer var dessuten ofte ikke særlig troverdige, selv når spådommene var korrekte. CEO of Hamni Financial Group, Sung Won Sohn, var nesten alene om å forutsi en overraskende høy inflasjon i en periode. Han hadde besøkt et firma som fortalte om en stor etterspørsel etter jeans til $250. Av dette konkluderte han med at det måtte være for mye penger blant folk, noe som ville være inflasjonsskapende. Den samme Sung Won Sohn gjorde det for øvrig nesten dårligst av alle ekspertene i de andre periodene som ble undersøkt. Totalt sett synes det å være liten grunn til å høre på eksperter som kan skryte av å ha vært nesten alene om å ha rett om store endringer en gang tidligere.

Mye av de samme tilstandene gjelder også forutsigelser om nytte og kostnader til it-prosjekter. Kriseprosjekter kan kanskje i etterkant forklares ut fra faktorer som dårlig planlegging, dårlig kompetanse og overambisiøse mål, men få om ingen synes å være i stand til å forutse hvor og når krisene vil oppstå. Vår manglende evne til å forutse kriser bør føre til at vi aksepterer at de kommer uventet og forbereder oss i å håndtere dem.

Erfaringsmessig er it-bransjen ikke særlig god til noen av delene. Planer og rammebetingelser er i liten grad basert på en aksept av at det er en mulighet for store kriser eller total fiasko. En større studie i Storbritannia (Sauer, Gemino & Reich, 2007) viste for eksempel at hele ni prosent av it-prosjektene aldri ble fullført. Hvor mange kost-nytte beregninger tar høyde for at kanskje så mange som en av ti it-prosjekter aldri fullfører? Jeg har ennå ikke sett noen slike.

Ved Simula Research Laboratory har vi gjort flere studier på hvor gode it-firmaene er på å anslå kostnadsusikkerhet. Hovedkonklusjonen er at anslagene langt fra gjenspeiler reell usikkerhet, selv for de prosjektene som faktisk blir fullført. Noe forenklet kan sies at dersom et it-prosjekt angir at de er "så å si helt sikre" eller "99 prosent sikre" på at kostnadene ikke vil overskride et visst beløp, så er den reelle sannsynligheten at det er ca. 30 prosent sannsynlig at de likevel vil gjøre det. Lignende nivåer av undervurdering av usikkerhet er dokumentert i de mange andre områder.

For at it-prosjekters planer skal være basert på reelt usikkerhetsnivå anbefaler Makridakis, Hogarth & Gaba (2010), i situasjoner med lite datagrunnlag og/eller relevant erfaring, at det først anslåtte intervallet ganges med to. Dersom for eksempel modellene eller vår ekspertvurdering tilsier at et prosjekt mest sannsynlig vil koste en million kroner og med 95 prosent sikkerhet vil koste under 1.5 millioner, så bør vi utvide intervallet til å bli dobbelt så stort. Vi må med andre ord utvide budsjettet til to millioner for at vi skal være så å si helt sikre på at budsjettet skal holde. Jeg sjekket denne svært grove tommelfingerregelen på en del gjennomførte it-prosjekter og fant at det slett ikke var urimelig med en dobling av bredden på usikkerhetsintervallet man opprinnelig trodde på at disse skulle bli realistiske.

Et viktig budskap i studiene er at vi bør vite og akseptere hva vi kan og hva vi ikke kan forutse. Vi vet at store kriser vil oppstå med ujevne mellomrom, kanskje så ofte som i ti prosent av it-prosjektene. Vi vet også at vi er svært dårlige i å forutse når krisene vil komme. Å lukke øynene for dette, og planlegge som om kriser aldri skjer meg, er en dårlig strategi. Kriseplaner og krisefond finnes i mange bransjer. Hvorfor ikke i it-bransjen?