Slik avslører du forskningsbløff

Slik avslører du forskningsbløff

KRONIKK: Med litt trening er det ikke så vanskelig å bli en myth buster.

"Det meste av kommunikasjon er ikke-verbal", hevdes ofte. Denne påstanden er et godt eksempel på misbruk eller i det minste en sterk overforenkling av forskningsresultater. For å avsløre misbruket og forenklingen bør man ha en kritisk holdning, søke etter informasjon om kildene og ikke minst stille kontrollspørsmålet: Hva menes egentlig med påstanden?

Henvisning til forskning styrker ens egen sak. Det er derfor bra og naturlig at kursholdere, konsulenter og populærvitenskaplige forfattere bruker resultater fra forskningen. Noen ganger blir det imidlertid mer misbruk enn bruk og det vil være nyttig å kunne avsløre misbruket for å unngå at kaste bort tid og penger.

Ikke-verbal kommunikasjon

Et illustrerende eksempel på misbruk av forskning er påstanden om at det meste av kommunikasjonen er ikke-verbal. I noen tilfelle tallfestes dette til at 93 prosent av kommunikasjonen er ikke-verbal. Ikke-verbal kommunikasjon er uten tvil viktig og det kan noen ganger være gode grunner til å møtes ansikt-til-ansikt i stedet for å sende epost eller til å delta på kurs for å forbedre sin ikke-verbale kommunikasjon. Men, hvor meningsfull er påstanden?

Mange påstander kan avsløres ved å spørre seg selv og/eller den som fremsetter påstanden om hva som menes og å forsøke å tolke meningsinnholdet gitt konkrete situasjoner. Et slikt eksempel er at du ser for deg å skulle forklarer en annen person om veien til Oslo S. Kommunikasjonen av veien til Oslo S vil være bort i mot 100 prosent verbal, dersom du da ikke bruker pekemetoden. Kommunikasjonen av at du egentlig har det travelt og misliker sterkt å bli heftet vil derimot kanskje være 100 prosent ikke-verbal. Hva betyr det da at det meste av kommunikasjonen er ikke-verbal i en slik sammenheng? Hva er for eksempel måleenheten for mengde av ikke-verbal kommunikasjon?

Selv upresise påstander kan skjule nyttig kunnskap bare man får klarlagt hva som egentlig er funnet ut. Mens det i tidligere tider var vanskelig å gå til kildene, er det i dag ofte nok å gjøre søk på internett. I dette tilfelle, som så ofte ellers, gir wikipedia mye nyttig informasjon. Se for eksempel: Nonverbal communication og Albert Mehrabian.

Selve studien

Studien som er hovedbakgrunnen for påstanden om ikke-verbal kommunikasjon ble publisert i "Journal of Personality and Social Psychology" i 1967 med tittelen "Decoding of inconsistent communications" og ble gjennomført av Albert Mehrabian og Morton Wiener. Deltakerne i studien fikk høre de positive ordene "honey", "thanks" og "dear", de nøytrale ordene "maybe", "really", "oh", og de negative ordene "don’t", "brute" og "terrible".

Alle disse ordene ble sagt i et positivt, nøytralt og negativt tonefall og deltakerne skulle anslå "¿ the feelings of a speaker towards the person whom she is addressing."

Analysene i studien fokuserte altså på, som tittelen antyder, hva vi vektlegger mest for å vurdere om person A liker person B, i situasjoner der det er inkonsistens mellom positivitet i innholdet i det A sier og tonefallet det blir sagt i. Ikke overraskende vektla de fleste av deltakerne tonefallet mest når noen for eksempel sa "thanks" med et negativt tonefall. Dette er muligens kunnskap av forskningsmessig interesse, men hvor relevant er det å vite at dersom du sier "takk" i et negativt tonefall så vil du i situasjoner tilsvarende den i eksperimentet oppfattes som å mislike personen du prater med? I ovennevnte studie framkommer ikke resultatet om at kun 93 prosent av kommunikasjonen er ikke-verbal. Dette tallet viser seg å stamme fra en kombinasjon av resultatene fra ovennevnte studie og studiet "Inference of attitudes from nonverbal communications in two channels" (1967) av Albert Mehrabian og Susan R. Ferris.

Tallet 93 prosent fremkommer her kun i en "final comment" og fremgangsmåten for å komme fram til tallet er så vidt jeg klarte å se ikke angitt! Nyere studier viser for øvrig en mye større viktighet av verbal kommunikasjon i de fleste realistiske kommunikasjons-sammenhenger og er i det hele tatt tvilende til at det å behandle verbal og ikke-verbal kommunikasjon som separate kommunikasjonskanaler er særlig meningsfullt. Det er i stedet samspillet mellom disse kanalene som teller. For at lærebøker og kurs skal selge er imidlertid 93 prosent-resultatet mye mer nyttig. Det gir oppmerksomhet, siden det er overraskende høyt. Det virker presist og det gir i tillegg et sterkt salgsargument, siden de færreste har prioritert kunnskap om den ikke-verbale delen av kommunikasjonen i henhold til en så høy grad av viktighet.

Gå til kildene

Det er med litt trening ofte ikke så vanskelig å avdekke om man kan stole på sterke påstander som hevdes å ha forskningsmessig belegg. En mulig oppskrift er: 1) Finn ut hva som menes med påstanden. 2) Bruk en tilstrekkelig presis formulering av påstanden og tenk i gjennom hva som skal til for å dokumentere gyldigheten av denne for ditt formål. Gjør dette fortrinnsvis før du innhenter informasjon om kildene. 3) Innhent så nøytral kunnskap som mulig om kildene. Gå aller helst til kildene selv. Avgjør så om dette tilfredsstiller rimelige krav til dokumentasjon og i hvilke sammenhenger det er rimelig å si at påstanden er tilstrekkelig godt dokumentert for ditt formål.

Ta for eksempel påstanden: "Vi mister det meste av varmen gjennom hodet." Hva er det presise innholdet av en slik påstand? Hvor mye klær antas det at vi har på de andre kroppsdelene? Er det mer viktig å dekke hodet enn for eksempel magen? Et kjapt søk på internett gir som svar at også dette er en overforenkling av forskningen. British Medical Journal har en artikkel der de antar at påstanden stammer fra en militærstudie i 1950-årene, hvor forskerne iførte testpersoner arktiske overlevelsesdrakter, men ingen lue og plasserte dem i ekstremt lave temperaturer.

Ikke rart at det meste av varmetapet var gjennom hodet i en slik situasjon. Det hevdes der at dersom denne arktiske studien hadde vært utført i badedrakt ville varmetapet fra hodet vært ca. 10 prosent. Til tross for at det finnes situasjoner der påstanden er riktig, for eksempel ved sterk nedkjøling, så er den typiske bruken av den basert på misbruk av forskning.

Som en øvelse anbefales en evaluering av følgende påstander fra utvikling av it-systemer: 1) "Forskjellen mellom beste og dårligste programmerer er 10 til 1". 2) "Det tar ti ganger mer arbeid å rette feil for hver fase feilen ikke oppdages.", 3) "Mer enn halvparten av all programvarekostnader går til vedlikehold", 4) "Det optimale antall elementer i et brukergrensesnitt er 7 pluss/minus 2."

Ingen av disse gir særlig mening uten å presiseres, og alle bygger på misbruk av resultater fra ett eller flere forskningsstudier. Du finner mer om disse og andre tilfeller av forskningsmisbruk i min presentasjon: simula.no/research/se/publications/Simula.se.689.

Lykke til som "myth buster"!