Oversikten over hvor studentene liker seg mest og minst i Norge gir lettvinte feilslutninger, men festlige avisoppslag, hevder Thorvald Hærem ved BI.
KOMMENTAR: Thorvald Hærem om rangering av studiesteder
Nasjonalt organ for kvalitet i utdanningen (NOKUT) har nylig publisert en oversikt over studentenes mest og minst likte utdannelsesretninger (lenke til Studiebarometeret). Ikke bare er undersøkelsen tenkt som en hjelp for studenter, men politikerne lurer også på hvilke tiltak som skal settes i gang for å bedre norsk utdanning. Byråkratene gjør seg klare til å gi dem faktagrunnlaget.
Direktør i Nasjonalt organ for kvalitet i utdanningen (NOKUT), Terje Mørland, sier til NTB at undersøkelsen vil bli brukt til å plukke ut de dårligste for ekstra tilsyn. Neste skritt er at de beste blir holdt frem som eksempler på at her gjøres ting riktig og de dårligste blir holdt frem som eksempler på at her gjøres alt galt. Slikt kan vi lære noe av tenker man.
Serveres som fakta
Nobelprisvinneren i økonomi, Daniel Kahneman sier at folk intuitivt tenderer å akseptere informasjon som serveres dem som fakta – uten å tenke igjennom hva som ligger bak informasjonen.
I sin siste bok, «Thinking Fast and Slow», refererer han en studie som illustrerer dette problemet. Studien rapporterte hyppigheten av nyrekreft i 3.141 distrikter i USA. Man fant at nyrekreft var mest sjeldent i landlige og lite befolkede områder som befant seg i republikanske stater i midt-vesten, i sør, og i vest.
Hvis du er som folk flest, så vil du tenke litt og antakelig konkludere at det må være den sunne livsstilen og friske luften på landet og, kanskje litt motvillig kan du akseptere at en konservativ livsstil kan ha noen gode effekter likevel. Forskerne fant også at hyppigheten av kreft var høyest i landlige og lite befolkede områder som befant seg i republikanske stater i Midt-Vesten, i sør og i vest… Da er det lett å tenke at den høye forekomsten av kreft skyldtes dårlig mat og usunn republikansk livsstil og kanskje var luften ikke så frisk på landet.
Men når vi oppdager at distriktene som har flest og færrest tilfeller av kreft er like, tvinges vi til å innse at våre forklaringer ikke kan være riktige. Poenget er ikke at distriktene er landlige eller republikanske – poenget er at disse distriktene er små! I små områder er det mer sannsynlig å finne ekstreme prosentvise resultater. I små distrikter kan en økning i forekomsten av nyrekreft fra 0 til 1 kaste distriktet fra øverst til nederst på statistikken.
Små tall bak studiebarometer
Tilsvarende er det med Studiebarometeret. I følge NOKUT og Studiebarometeret skjuler det seg mellom 6 og 15 svarende bak mer enn 60 prosent av utdanningsretningene som er rapportert. Det vil si at de tilfeldige svingningene i om utdanningsstedet ender opp som godt eller dårlig blir veldig store i denne gruppen i forhold til utdanningsretninger med mer enn for eksempel 100 svarende.
Kahneman refererer med dårlig skjult oppgitthet hvordan «The Bill & Melinda Gates Foundation» brukte rangeringer av skoler i USA som grunnlag for sin allokering av utdanningsmidler. Stiftelsen hadde, sammen med en rekke skole-eksperter, studert statistikk om hva som karakteriserte de beste skolene. De fant ut at små skoler dominerte listene over de beste skolene. 1,7 milliarder dollar ble brukt til å støtte små skoler og dele opp større skoler. Langsomt, eller kanskje plutselig, gikk den statistiske tabben opp for dem. Man oppdaget at de små skolene dominerte blant de dårligste skolene også. Sent i 2005 annonserte stiftelsen at de hadde sluttet med å støtte skoler på grunnlag av størrelse....
Letvinte feilslutninger
Rangeringene av grunnskolene og høyere utdanning, enten de er basert på PISA-undersøkelser eller studentenes evaluering, er ment å fungere som grunnlag for beslutningstakere. Det vil være synd om blivende studenter, byråkrater og politikere vurderer utdanningsretningene etter tilsvarende prinsipper som Gatesstiftelsen la til grunn.
Når listen over de beste og dårligste skolene vurderes er det greit å huske at små utdanningsretninger, på grunn av små utvalg og tilsvarende store statistiske feilledd, fort kan dominere listene. Slik kan utdanningssteder urettmessig henges ut som de dårligste, eller de beste. Små utdanningsretninger som på grunn av tilfeldigheter henges ut som dårligst i klassen burde stramme opp NOKUT.
Kanskje noen burde se på hvordan NOKUT bruker tallene de har samlet inn? Det finnes gode måter å unngå å innby til slike lettvinte feilslutninger som Studiebarometeret la opp til ved lanseringen. Men avisoppslagene blir jo festlige!
Referanse:
Artikkelen er publisert som kommentarartikkel i Nettavisen E24 10. februar 2014.