Kunsten å måle

Kunsten å måle

Er ytelsesmål til støtte eller hinder for ytelsen i IT-prosjekter?

Anta at en IT-leverandør har to forskjellige utviklingsavdelinger: A og B. Avdeling A fokuserer på at prosjektene skal ha målsetninger relatert til kostnader, lønnsomhet og kundetilfredshet (ytelsesmål). Avdeling B fokuserer på at prosjektene skal ha målsettinger relatert til den enkeltes og teamets forbedring av evner som prosjektledere og systemutviklere (læringsmål). Hvilken avdeling tror du ville gjøre det best?

Hvem som gjør det best avhenger åpenbart av mange forhold, men flere og flere nyere studier peker i retning av at sterk fokus på ytelsesmål hindrer læring og paradoksalt nok fører til lavere ytelse. Dette er interessant fordi de fleste norske IT-leverandører synes å ha et mye sterkere fokus på ytelsesmål og ytelsesevalueringer enn på læringsmål og læringsevalueringer.

Samme ytelse

En helt fersk studie av Bereby-Meyer, Moran og Unger-Aviram, publisert i tidsskriftet Organizational Behavior and Human Decision Processes, målte hvor gode team var til å forhandle fram forretningskontrakter.

Denne studien fant at team som fokuserte på ytelsesmål hadde omtrent samme ytelse som team som fokuserte på læringsmål i situasjoner der oppgavene som skulle gjennomføres var svært like, men hadde vesentlig dårligere ytelse der oppgavene var annerledes enn de som tidligere hadde blitt gjennomført. I slike situasjoner gjorde faktisk team som hadde ytelsesmål det dårligere enn team som hadde verken ytelsesmål eller læringsmål!

Forskerne hevder at en viktig årsak til dette er at ytelsesmål får individer til å overfokusere på å unngå og skjule feil. Ved læringsmål blir det å gjøre og analysere feil en del av læringen, noe som også medfører en økt vilje til å søke utfordringer som man kan lære av. Det er ikke gjennomført identiske studier for it-utvikling, men vi har gjennomført lignende studier som indikerer at sterk fokus på ytelsesmålinger og evalueringer kan føre til dårligere ytelse i it-prosjekter.

Overoptimistisk

I 2001 studerte vi prosjekter hos en større norsk IT-leverandør (publisert i Information and Software Technology). I flere av prosjektene fant vi klare spor av dårlige beslutninger tidlig i prosjektet som følge av at ytelsesmål var prioritert høyt.

I noen tilfeller var det slik at designfasen i prosjektene ble kuttet i forsøk på å holde en tidsplan prosjektet visste var overoptimistisk. Dette synes å ha medført mye omarbeidelser og trolig mer forsinket leveranse enn om ytelsesmålet leveranse på tid var prioritert lavere.

I 2004 utga vi en studie (publisert i Journal of Systems and Software) som indikerte at ledelsen hos it-leverandører evaluerte prosjektlederes ytelse på en måte som belønnet systematisk overoptimisme, førte til underrapportering av usikkerhet og risiko, og straffet erfaringsbasert læring.

Kakkerlakker

Dårligere ytelse som følge av ytelsesevaluering når vanskelige oppgaver skal løses er funnet på svært mange områder og synes ikke bare å gjelde mennesker. Blant annet fant Zajonc i 1969 at kakkerlakker (!) ble dårligere til å finne veien gjennom labyrinter når andre kakkerlakker var tilstede. Dette tolket man til å være et resultat av såkalt "evaluation apprehension". Bevissthet om at ytelsen blir evaluert fører som oftest til mer instinktiv adferd og mindre refleksjon.

Hva bør være konsekvensen av disse funnene? Skal kunder og ledelse stole på at prosjektene jobber optimalt uten ytelsesmål og ytelsesevalueringer? Trolig ikke.

Lederer og Prasad fant for eksempel i en større studie, publisert i IEEE Transactions on Software Engineering i 1998, at de it-prosjektene der prosjektlederen ble evaluert med hensyn på estimeringsnøyaktighet, hadde mest nøyaktige kostnadsestimatene.

Med andre ord, dersom det å unngå kostnadsoverskridelser er det høyest prioriterte målet, vil ytelsesmålinger og evalueringer kunne være effektive midler for dette. Vi har på den annen side erfart fra eget arbeid med såkalte "balanserte ytelsesmålinger" (Balanced Score Card) hos en stor norsk it-leverandør, at det er svært vanskelig å innføre balanserte ytelsesmålinger. Et sterkt fokus på å evaluere estimeringspresisjon eller kundetilfredshet vil oftest gå på bekostning av mindre målbare, men minst like viktige, ytelser. Ytelsesmål og målinger bør derfor sjelden være mer enn et utgangspunkt for dybdeevaluering av et prosjekts ytelse.

Gyllen middelvei

Som ofte ellers er kunsten å finne den gylne middelvei. Dette vil for eksempel kunne innebære at man øker fokus på læringsmål, uten å gi helt slipp på ytelsesmål. For eksempel vil en IT-leverandør kunne innføre at alle prosjekter skal ha en bevisst prioritering mellom målene:

1) Kostnadseffektivitet
2) Leveranse til avtalt tid
3) Kvalitet
4) Funksjonalitet
5) Læring.

Dersom læring gis en høy prioritet i et prosjekt, noe det trolig i større grad enn i dag bør ha, må dette gjenspeiles i læringsprosesser og læringsverdier. Viktige læringsverdier er for eksempel: Fokus på innhenting og deling av informasjon fra andre prosjektmedlemmer og omgivelsene, åpenhet med hensyn til kritikk, fokus på feilen i stedet for personen som gjorde feilen og personlig ansvar for egen og prosjektets læring.