Vi blir daglig bombardert med spørreskjemaer. Mange av dem er unødvendige fordi de ikke forteller oss noe nytt, viser ny studie.
BI FORSKNING: Hva forteller spørreskjemaer?
En undersøkelse som noen kolleger og jeg nettopp publiserte i det anerkjente tidsskriftet PLoS ONE, viser at svarmønstrene i mange spørreskjemaer er gitt på forhånd - før man har spurt en levende sjel!
Undersøkelsen reiser tvil om verdien av sosialvitenskapens mest velbrukte forskningsinstrument.
Det viser også hvordan hjernen forføres av egen språkbruk, og åpner for interessante perspektiver på fremtidig bruk av digital teknologi i tekstanalyse.
Digital tekstanalyse
Spørreskjemaer er forutsigbare når spørsmålene i skjemaene henger innholdsmessig sammen. Digital tekstanalyse (beslektet med søkemotorer på nettet) kan sammenligne meningsinnholdet i spørsmålene.
Vi finner at svaret på et spørsmål avhenger av hvor meningslikt dette er med spørsmålene foran. Overlappende mening mellom spørsmålene dikterer svarene, som dermed blir forutsigbare.
Vi kjenner ikke svarene på de første to-tre spørsmålene, men deretter er mønstret gitt. Flere spørsmål og flere respondenter skaper større forutsigbarhet.
En ubehagelig nyhet
Forskere og konsulenter kan oppfatte dette som en ubehagelig nyhet. De er ofte mest interessert i sammenhengen mellom ulike deler av spørreskjemaet, ikke i hva enkeltpersoner måtte mene. Men hvis statistiske mønstre oppstår som følge av noe vi allerede vet, forteller de oss ikke noe nytt.
Et vanlig organisasjonspsykologisk spørsmål lyder: «Jeg vil muligens slutte i min nåværende jobb innen de neste tolv månedene. »
Både folk og datamaskiner oppfatter spørsmålet svært likt det neste: «Jeg kommer til å lete aktivt etter en ny jobb innen tre år. » Interessant nok ser digitale verktøyer svakere likheter også, for eksempel mellom disse: «Sjefen min nekter å forklare sine beslutninger» og «Generelt sett liker jeg ikke jobben min. »
Siden noen, men ikke alle vil argumentere for en sammenheng her, forventer vi en svakere statistisk sammenheng. Det er akkurat hva vi fant: De digitale algoritmene kunne «forutse» hvor likt folk oppfatter ulike spørsmål.
Vi lot en stor gruppe mennesker besvare slike spørreskjemaer, mens algoritmene tippet hva de ville svare. Den såkalte korrelasjonen mellom spørsmålet om sjefen og spørsmålet om jobbtilfredshet var 0,34 for de menneskelige respondentene.
Forklarer mer enn 80 prosent
Datamaskinen tippet 0,36. Dette gjentok vi for alle par av spørsmål i spørreskjemaene. Algoritmene tar feil i ny og ne, men forklarte mer enn 80 prosent av variasjonen i et anerkjent lederkartleggingsskjema, og nesten like mye av sammenhengen mellom ulike lederstiler, motivasjon og jobbtilfredshet.
Dermed kunne vi tippe nøyaktig på sammenhengene mellom disse begrepene hos ekte menneskelige respondenter.
Man kunne funnet ut det samme ved å sitte med en ordbok på fanget og tenke seg om.
Problemet er neppe begrenset til organisasjonspsykologiske temaer som ledelse, motivasjon og resultater. Alle sosialvitenskapelige disipliner som beskriver virkeligheten gjennom spørreskjemaer, kan rammes av problemet.
Bare når det gjaldt personlighetstester, mislyktes vi med å forutsi mønsteret ut fra språk. Psykologisk testing kan faktisk forutsi senere adferd gjennom bred kartlegging av tidligere adferd. Problemet oppstår bare i holdningsmål, såkalte Likertskalaer.
Hypnotiseres av språk
Den interessante konsekvensen for samfunnsdebatten og språkpsykologi ligger i språkets hypnotiserende virkning.
Sentrale begreper i samfunnsvitenskapene er jo bare ord som vi har funnet på, noe både forskere og legfolk har tungt for å svelge.
Ordene «ledelse» og «motivasjon » er nokså nye (henholdsvis 150 og 100 år gamle). Vi tror åpenbart lett at viktige ord som «ledelse» må skyldes en objektiv virkelighet bakenfor ordet. «Ordet er nytt, men viser til noe som alltid har vært der,» innvender folk. Så enkelt er det ikke. Ord som «demokrati», «rettssikkerhet» og «penger» er viktige, men ikke gitt av naturen.
Samfunnsforskere med hang til statistikk later til å synes dette er skamfullt. De ønsker å forske på en virkelighet som er like håndfast og matematisk som kjernefysikk.
I stedet for å avdekke en virkelighet bidrar de antagelig til å skape den.
Digital tekstanalyse er kommet for å bli, og kommer til å forandre vårt forhold til språk.
Vi er allerede avhengige av digitale medier til lagring og innhenting av kunnskap. Den gode nyheten er at forskerne kan kutte ut meningsløse bots øvelser og heller prioritere spørsmål av betydning - for eksempel forholdet mellom språk, tanke og handling.
Referanse:
Arnulf, J. K. , Larsen, K. R. , Martinsen, Ø. L. , & Bong, C. H. (2014): «Predicting survey responses: How and why semantics shape survey statistics in organizational behavior».
PLoS ONE, 9(9), 1-13. doi: 10.1371/journal.pone.0106361.
Denne formidlingsartikkelen er publisert som kommentarartikkel i Dagens Næringsliv 13. september 2014 under vignetten "Forskning viser...".