Offentlige tiltak bør ikke evalueres mer, men smartere, utfordrer professorene Leif Helland og Rune Sørensen ved Handelshøyskolen BI.

DEBATT: Leif Helland og Rune Sørensen om offentlig pengebruk

Finansminister Sigbjørn Johnsen fremhever på DN.no (lenke til artikkel i dn.no) at offentlige tiltak evalueres i stor stil. Myndighetene vet mye om virkningen av tiltak som settes i gang. Han viser til de over tusen evalueringene som ligger på evalueringsportalen.no (lenke til nettsiden).

Ja, det evalueres mye i Norge. Etter et dypdykk på evalueringsportalen.no er vi fortsatt i tvil om mange av evalueringene forteller oss mye om tiltakenes virkninger.

Gullstandard for evaluering

Gullstandarden for evaluering av offentlige tiltak (og andre intervensjoner) er enkel nok. Den består av tre elementer.

  1. Man må ha en eksperimentgruppe som utsettes for tiltaket, og en kontrollgruppe som slipper. Eksperimentgruppen må ikke ha adgang til selv å påvirke tiltaket.
  2. Hvem som velges til eksperiment- og kontrollgruppe må være tilfeldig.
  3. Enhetene må ikke selv få velge seg inn i gruppene.

Med et slikt opplegg kan vi være ganske sikre på å avdekke om tiltaket har effekt.

Smartere offentlig pengebruk

Offentlige tiltak bør ikke evalueres mer, men smartere. Myndighetene bør i større grad teste ut reformer i liten skala ved randomiserte eksperimenter, før de gjennomføres i hele landet. Slik kan vi sikre oss kunnskap før skattepengene virkelig ruller unna.

Søk på ordet ”randomisert” på evalueringsportalen.no gir 11 treff. Ingen av disse 11 evalueringene benytter randomiserte eksperimenter (men noen av dem viser til slike eksperimenter gjennomført av andre).

Søk på ordet ”kontrollgruppe” gir 48 treff. Tre av evalueringene som dukker opp er randomiserte eksperimenter i egentlig forstand. Disse ser ut til å være de eneste på portalen. Situasjonen er radikalt forskjellig i England, der en egen enhet under statsministerens kontor arbeider spesielt med policy eksperimenter.

Norske myndigheter på etterskudd

Norske myndigheter ligger håpløst bak.

Mange av rapportene på portalen evaluerer tiltak etter at de er gjennomført over det ganske land (f eks sykehusreformen og kontantstøtteordningen). Her skjer det ingen kontrollert testing før reform settes i gang.

Noen evalueringer benytter riktignok ”pilotprosjekter” i liten skala. I slike tilfeller er det vanlige å la forsøksenhetene selv få velge om de vil delta eller ikke. Dette er det motsatte av randomisering. En må mistenke at de som selv velger å være med er spesielt motiverte. Da blir det vanskelig å si noe som helst om effekter.

Evaluering på norsk- 3 eksempler

  • Et typisk eksempel er evalueringen av forsøk med alternative pedagogiske modeller i skolen (”LP-modeller”). Her fikk skolene selv bestemme om de ville være med, og det heter i rapporten: ”I prinsippet kunne skolene vært randomisert ved at vi trakk et vist antall skoler for å arbeide med LP-modellen. Dette er i praksis ikke mulig fordi skolene har meldt seg på ut fra egeninteresse i prosjektet.”
  • Nok et eksempel er evalueringen av tiltak mot rusmisbruk ved kriminalomsorg i frihet og i anstalt. Her heter det at: ”Den foreliggende evaluering vil ikke kunne si noe eksakt om programmets effekt, da det ikke foreligger noen kontrollgruppe”.
  • Et tredje eksempel er ”positivitetsagentene”. I mars 1999 sendte Kommunal- og regionaldepartementet ut en pressemelding om at ungdom i 62 utkantkommuner skulle tilbys agentopplæring. Formålet var å bidra til et levende lokalmiljø i Distrikts-Norge. I evalueringen fra 2002 undersøkte man hvor mange agenter som var tilbake (noe som ble ansett som en god suksessindikator). I rapporten viste det seg at av 66 kommuner hadde 14 fortsatt en agent, for 10 kommuner var situasjonen uklar, mens 42 ikke lenger hadde noen agent. Forklaringen var at agentene i stor grad hadde forlatt kommunen (i følge rapporten var dette som forventet). Nytilsetting av agenter var ikke blitt foretatt som følge av manglende forankring i kommunene, konkurranse fra andre prosjekter og at det ikke ble opprettet et eget ”Positivitetsagentsekretariat”.

Evaluering for å lære

Er det fornuftig å revitalisere prosjektet med "positivitetsagentene" som permanent distriktspolitisk virkemiddel?

Vi anbefaler i alle fall at en først gjennomfører et randomisert forsøk med en eksperiment- og kontrollgruppe: Den ene er kommuner får et ”øremerket” statlig støtte til positivitetsagenter. Den andre gruppen mottar en tilsvarende økning i rammetilskuddet i inntektssystemet. Deretter trekker vi tilfeldig ut hvilke utkantkommuner som skal være i den ene og den andre gruppen.

Med et slikt opplegg kan vi evaluere om dette er effektiv distriktspolitikk – eller om midlene bør brukes på annen måte. Da har vi lært noe.

Vi håper eksemplene vil anspore Finansministeren til å innta en mer eksperimentell holdning.

Referanse:

Artikkelen er publisert som debattinnlegg i Dagens Næringslivs nettavis Dn. No 3. oktober 2012 med tittelen ”- Norske myndigheter ligger håpløst bak”. Foto: Katrine Lunke/ Norges Bank.

Si din mening:

Send gjerne dine kommentarer og synspunkter på denne artikkelen til forskning@bi.no Du kan også benytte kommentarfeltet nedenfor. 


Kommentarer

Du kan også se alle nyheter her.
BI Business Review

Nyhetsbrev

Meld deg på for oppdaterte nyheter fra BI Business Review!

Meld på