Hvor gode er norske it-leverandører?

Resultatene fra en EU-støttet undersøkelse av utviklingsprosesser hos leverandører av programvare i europeiske land ble utgitt i juni 1998 av tidsskriftet Communications of the ACM. Den omfattende undersøkelsen er trolig er den eneste i sitt slag som sammenligner systemutviklingspraksis i europeiske land. Den er derfor relevant selv om den er noen år gammel.

Undersøkelsen omfatter 463 leverandører i 16 europeiske land, derav 15 norske leverandører. Resultatene fra undersøkelsen kan gi en pekepinn på hvor norske it-leverandører har sine svakheter og styrker sett i europeisk målestokk.

It-utviklingsoppdrag settes i økende grad ut på et europeisk marked og typiske styrker og svakheter til IT-leverandører i andre land kan være viktig å kjenne til.

Sjuende plass

Resultatene i undersøkelsen er basert på IT-leverandørenes svar på 42 spørsmål om hvilke 8systemutviklingspraksiser8 de har innført. De fleste av praksisene er nokså opplagt noe en it-leverandør bør ha, for eksempel rutiner for endringskontroll, mens nytten av andre er mer diskutabel, som dokumenterte rutiner for å estimere størrelse av et prosjekt (i funksjonspoeng eller lignende).

Ut fra leverandørenes antatt ærlige svar på spørsmålene er landene rangert.

De norske leverandørene gjorde det middels bra i denne undersøkelsen, og ble totalt sett nummer 7 av 16. Storbritannia gjorde det best, mens Sverige (!) gjorde det desidert dårligst, (se figuren). Innen organisasjonsrutiner ble Norge nr. 14, standarder og rutiner nr. 9, programvaremålinger nr. 9, og kontroll av utviklingsprosessen nr. 5.

Bare på to av spørsmålene om rutiner utmerket de norske leverandørene seg i særlig grad: 1) Sikre at prosjektet oppfyller forretningsmål og 2) Regelmessig regresjonstesting under og etter prosjektgjennomføringen. Begge deler er svært viktige for vellykkede prosjekter.

Rutiner der de norske leverandørene gjorde det dårligst var: 1) Opplæringsprogram for nyansatte, 2) Ressurshåndtering av kritiske, ikke programvareorienterte, ressurser, 3) Estimering av størrelsen på programvaren, 4) Formell granskning av styrker og svakheter til programvaren som skal erstattes, og 5) Analyse av testeffektivitet.

Flere av disse er svært viktige områder, der norske leverandører kan ha mye å hente på å forbedre seg.

Ingen fasit

Selv om undersøkelsen trolig gir en indikasjon på hva som er styrker og svakheter ved den typiske norske IT-leverandør, bør resultatene tolkes forsiktig. Vi vet for eksempel ikke hvor representative firmaene som deltok var.

Mer alvorlig er det likevel at vi vet svært lite om sammenhengen mellom økt grad av formelle systemutviklingsprosesser og kvalitet, lønnsomhet og kundetilfredshet. Med andre ord, det er ikke gitt at det å formalisere prosesser som tidligere var uformelle fører til gevinst.

Det som finnes av undersøkelser på dette området spriker ganske mye. Typisk viser undersøkelser gjennomført av organisasjoner som lever av å selge prosessforbedring (CMM, SPICE, ISO 9000) svært positive gevinster, mens uavhengige undersøkelser finner ingen eller kun svake positive sammenhenger. En av undersøkelsene viste faktisk i gjennomsnitt negative resultater av økt grad av formalisering av prosessene.

Komplisert sammenheng

En relativt fersk, svært interessant, undersøkelse av 104 programvareprosjekter i India, Japan, Europa og USA (november/desember 2003-utgaven av IEEE Software) illustrerer hvor komplisert sammenhengen mellom prosess og kvalitet kan være.

Undersøkelsen viser at kvaliteten på programvare, målt som kunderapporterte feil per linje kode, var desidert best i japanske prosjekter og dårligst i amerikanske prosjekter. Foruten at Japan hadde noe mindre bruk av moderne utviklingsmetoder som 8pair programming8 og 8daily build8, og noe mer tradisjonelle kvalitetssikringsrutiner som 8inspeksjon8 og 8regresjonstesting8, var forskjellene små.

Dette antyder at det neppe var forskjellen i utviklingspraksis som medførte at japanske prosjekter hadde best kvalitet, men kanskje den japanske kvalitetskulturen. Kvalitetskultur er imidlertid vanskelig å måle i slike undersøkelser.

Outsourcing

Det er en økende tendens til at store programvareleverandører utfører mye av utviklingen andre steder enn i hjemlandet. I den sammenheng vil undersøkelser av nasjoners styrker og svakheter kunne være viktig.

Det er for eksempel ikke usannsynlig at leverandører som ønsker en utviklingsavdeling i Europa heller velger land som er av de beste i undersøkelsen vi har referert til enn de dårligste. Også valg av enkeltleverandører vil kunne følge en vurdering av prosesser i tråd med hvordan landende er blitt evaluert.

Uansett effekt på kvalitet, lønnsomhet og kundetilfredshet, vil det derfor kunne være viktig at man som land og enkeltorganisasjon skårer høyt på slike undersøkelser om bruk av formelle prosesser. Trolig vil en god uttelling på denne typen benchmarking bli mer og mer viktig for å opprettholde en norsk it-næring i stand til å konkurrere med it-leverandører i europeiske og andre land.