Derfor slaktes du i evalueringer

Derfor slaktes du i evalueringer

KRONIKK: Å svare på hvor fornøyd du er gjør deg mindre fornøyd.

Mange firma ber kunder, brukere og ansatte om å svare på fornøydhetsundersøkelser. Dette gjøres for å finne ut hva disse mener om dem og for å kunne forbedre seg. Men hvilken effekt har selve fornøydhetsundersøkelsene? I hvilken grad påvirker de hva vi mener?

Det brukes enorme summer på å få tilbakemeldinger fra kunder, brukere og ansatte om deres fornøydhet med produkter, tjenester og arbeidsmiljø. I noen tilfelle kan evalueringene gi verdifulle tilbakemeldinger som fører til forbedringer, mens de i andre tilfelle nok kan ha mer karakter av pliktøvelser.

En studie av Ofir og Simonson ("In Search of Negative Customer Feedback: The Effect of Expecting to Evaluate on Satisfaction", Journal of Marketing Research, 2001) fant at når kundene visste eller forventet at de skulle svare på fornøydhetsundersøkelser, så ble de mindre fornøyde!

Forventet evaluering

I studiene til Ofir og Simonson ble tilfeldig valgte kunder delt i to grupper. En gruppe ble informert om at de senere ville motta en brukerfornøydhets-undersøkelse, mens den andre gruppen ikke fikk denne informasjonen. Senere ble fornøydheten målt for begge gruppene. Dette ble gjort i ulike typer firma og for ulike typer tjenester og produkter. I et tilfelle ble halvparten av 100 tilfeldige utvalgte kunder som henvendte seg til et servicesenter i et datafirma informert om at de ville bli spurt om deres fornøydhet med tjenestene. I etterkant av at deres problem hadde blitt løst ble all spurt om hvor fornøyde de var med tjenesten på en skala fra 1 (lite fornøyd) til 5 (svært fornøyd). Det viste seg da å være en markant forskjell på de som i forkant visste at de skulle evaluere fornøydhet (gjennomsnitt 3.7) og de i den andre gruppen (gjennomsnitt 4.2).

Oppfølgingsstudiene til Ofir og Simonson tyder på at den reduserte fornøydheten skyldes at forventet evaluering medfører vesentlig flere "negative tanker", Det vil si en mye mer kritisk holdning til tjenestene. En lignende studie utført av Lane og Keaveney ("The negative effects of expecting to evaluate: Reexamination and extension in the context of service failure", Psychology and marketing, 2005) fant de den samme effekten for bank-tjenester. De som visste at de skulle delta i en fornøydhetsundersøkelse var ikke bare mindre fornøyde, men anga også at det var mer sannsynlig at de ville bytte bank. Kanskje enda verre var det at deltagelsen i fornøydhetsundersøkelsen reduserte sannsynligheten for at en kunde ville klage skriftlig og dermed begrunne eventuell misfornøydhet. De hadde jo allerede klaget gjennom spørreskjemaet. Kundefornøydhetsmålingene førte dermed både til at man mistet kunder og fikk mindre informasjon om grunnene til dette.

Spørreskjema

På kurs, konferanser og i undervisning er det blitt mer og mer vanlig at det deles ut spørreskjemaer der fornøydhet til deltagerne måles. I mange tilfeller deles skjemaene ut på forhånd eller det opplyses tidlig om at man vil bli bedt om å svare på slike spørsmål. Det er god grunn til å tro at de samme effektene inntreffer her og at man blir mindre fornøyd når man vet man skal angi hvor fornøyd man er i etterkant.

I et studium av Liebling og Kaufman ("Effects of expectations about evaluation and peer recommendations on students’ ratings"; Perceptual and Moter Skills, 2004) fant man for eksempel at de som visste at de skulle evaluere undervisningen synes den var dårligere enn de som ikke visste det. I tillegg vet man at gyldigheten til slike evalueringer er relativt dårlig. En omfattende oversikt over relevante studier ("Student Evaluations of Teaching: Are They Related to What Students Learn? A Meta-Analysis and Review of the Literature", Dennis E. Clayson, Journal of Marketing Education, 2009) konkluderer med at det ikke er noen påvist sammenheng mellom objektive målinger av læring og evalueringsresultatene! Sammenhengen er kun mellom studentens fornøydhet og deres oppfatning av hvor mye de har lært. Fornøydhetsmålingene synes dermed å gjøre kursdeltagere og studenter mindre fornøyde, uten at man får gode tilbakemeldinger om hvor stort læringsutbytte de faktisk har hatt.

La være?

Piet Hein skriver i et av sine gruk: "For livets mening, livet sørger, præcis så længe, til vi spørger." Å spørre seg selv eller andre om vi er fornøyde er ikke et nøytralt spørsmål, men påvirker oss. Det er gode grunner til å tro at vi oftest blir mer kritiske og mer negative innstilt. Om dette er til det bedre eller verre er vanskelig å si, men effekten gir i alle fall grunnlag for firmaer og andre til å se nærmere på sine prosesser rundt fornøydhetsundersøkelser.

Dette gjelder trolig også undersøkelser der fornøydhetsmålingene er indirekte. Mange firma gjør for eksempel jevnlige undersøkelser om hvor godt forbrukere liker deres tjenester i forhold til andre, eller om man ser for seg å bytte leverandør i nærmeste framtid. Det er gode grunner til å tro at også dette vil medføre en evaluering av hvor fornøyd man er med tjenestene og som konsekvens lavere fornøydhet og større sannsynlighet for å bytte leverandør. Dersom fornøydhetsundersøkelser ikke gir svært nyttig informasjon, er det dermed gode grunner til å la være å gjennomføre dem.

Les om: