Irrelevant informasjon skader it-prosjekter

Like før jul forsvarte Stein Grimstad doktorgradsavhandlingen sin på Universitet i Oslo. Den nybakte doktoranden, som nå jobber som forsker på Simula-senteret og i Objectnet, fokuserte på det han mener er en av de viktigste grunnene til at it-prosjekter går over stokk og stein: irrelevant informasjon.

- Estimater av it-prosjekter er generelt unøyaktige, og de er systematisk overoptimistiske. Det er urealistisk å forvente perfekte estimater, men dette tyder på at vi kan bli bedre, sier han.

Grimstad baserte avhandlingen sin på studier av årsakene til estimeringsfeil. Alt peker på at dårlige kravspesifikasjoner er en av de viktigste grunnene.

- Så vi valgte å se på hvordan irrelevant informasjon i kravspesifikasjonene påvirker estimatene, sier han.

Resultatene i avhandlingen tyder på at det Grimstad kaller dårlige estimeringsytelse skyldes delvis at estimeringsmateriellet kan inneholde informasjon av liten eller ingen relevans for estimeringsjobben. Eksempler på dette kan være dokumentasjon av systemer som ikke berøres av det nye prosjektet, krav som har blitt foreldet og selve formateringen av kravspesifikasjonen.

Lange spesifikasjoner – høye estimater

Grimstads veileder, professor Magne Jørgensen, har gjort et studenteksperiment hvor han delte ut en nøyaktig identisk tekst til to forskjellige grupper. Det eneste som var forskjellig var størrelsen på skrifttypen og margstørrelsen. Den lengste spesifikasjonen fikk også det høyeste estimatet.

Det kan tyde på at hjernen vår oppfatter at lange kravspesifikasjoner krever lengre prosjekter. På denne måten er det også logisk at irrelevant informasjon forlenger estimatene.

- Det er ofte en korrelasjon mellom lengden på spesifikasjonen og estimatene. Ubevisst kan vi derfor ha lagd oss enkle regler som sier at lange spesifikasjoner skal ha høye estimater. Men det er vanskelig å se bort i fra slike regler i de tilfellene hvor det er feil å bruke de, sier Grimstad.

Han forteller at irrelevant informasjon er veldig vanlig i spesifikasjoner, og at dette kan ha mange årsaker. Det kan være at de som har laget spesifikasjonen mener at informasjonen kan være relevant av andre grunner, som for eksempel bakgrunnsinformasjon. Eller at de bare har kopiert fra tidligere spesifikasjoner og får med mange ting som ikke relevante i det nye prosjektet. Det er også mulig at de ikke vet hva som er relevant.

- Ikke lett å vite

- Mange spesifikasjoner skrives av forretningsfolk og det kan gjøre at informasjon som ikke er relevant for systemutviklingen kan komme med. Men det er ikke lett for dem å vite om dette, de får lite opplæring i slikt, påpeker Grimstad.

Sammen med Jørgensen foretok Grimstad flere eksperimenter i studien sin. Blant annet delte de opp erfarne systemutviklere i to grupper. En gruppe fikk en spesifikasjon der deler av den var irrelevant for det man skulle estimere. De andre fikk samme spesifikasjonen, men uten den irrelevante informasjonen.

- I utgangspunktet skulle man tror at estimatene var like, men det er ikke tilfelle. Den irrelevante informasjonen gjør det vanskeligere å fokusere på det relevante. Estimatene gjort av gruppen som fikk irrelevant informasjon, ble i gjennomsnitt 30 prosent høyere.

Informasjon som ikke var ment å inneholde relevant informasjon kan i mange tilfeller påvirke estimatene til å bli lavere, for eksempel ved bruk av ord som ”små oppgaver” og ”ubetydelige endringer” i stedet for mer nøytrale ord som ”oppgaver” og ”endringer”.

Løsningen

Grimstad og Jørgensen har sett på bruk av forbedrede analyseprosesser, hvor man aktivt går inn markerer det som er relevant informasjon, mer bruk av formelle estimeringsmetoder og bedre utvelgelse av estimeringspersonell. Alt dette har positiv innvirkning.

- Men den eneste måten å virkelig fjerne effekten på er at en annen enn de som estimerer går inn og fjerner den irrelevante informasjonen på forhånd, slik at prosessen gjøres i to steg, sier han.

Det er ikke like effektivt å gå inn i etterkant av en estimering og korrigere for påvirkningen av irrelevant informasjon. Det har ikke en like god effekt.

Du bør kunne ganske mye om systemutvikling og ha god forståelse av hvilke faktorer og hvilken informasjon som er relevant for å gjøre jobben som informasjonssiler. Grimstad anbefaler at de mest erfarne prosjektlederne, arkitektene og utviklerne bør brukes til denne jobben.

Ofte er det slik at det er nettopp disse folkene som estimerer, men får man tak i to er det best om en person brukes på hver av oppgavene.

Ingen tjener på dårlige estimater

- Unøyaktige estimater er negativt for alle parter. De som er involverte i prosjektet blir mer stresset, får dårlig tid, kanskje klarer du ikke å levere. Du risikerer at kvalitet reduseres og at du får dårlige systemer. Parten som tar regningen får dårligere økonomi. Alt tyder på at det er lurt med realistiske estimatene, sier Grimstad.

Lave estimater lønner seg heller ikke for leverandører som vil gå over lik for å kapre et prosjekt

- Et estimat trenger ikke nødvendigvis å bli det samme som pris. Man kan gå lavt i pris for å vinne et oppdrag, men det som da er viktig er å vite hvor mye du gir i rabatt. Har du ikke gode estimater vet du ikke det, slår Grimstad fast.

Les mer om forskningsfunnene her.