Vet vi om miljø- og bistandstiltak virker? Hvordan kan vi finne det ut?
KOMMENTAR: Jørgen Juel Andersen om økonomi
Norge bruker én prosent av bruttonasjonalinntekten – 35 milliarder kroner – på bistand til mennesker i nød og fattigdom. Totalbeløpet i OECD er omtrent 1100 milliarder, tilsvarende det norske statsbudsjettet.
Bistanden omfatter både miljø- og utviklingstiltak, da disse ofte går hånd i hånd. Redusert forurensning kan for eksempel forsterke effekten av investeringer i skoler og lærere, og utdanning kan forsterke effekten av miljøtiltak.
Bistandsbeløpene kan høres høye ut, men behovene er enda større. Vi må derfor vite om tiltakene virker.
- Les også: Gjør bistand vondt verre?
Hvordan kan vi vite om tiltak virker?
Det vanlige har vært å sammenligne tilstanden før og etter prosjektet – dersom tilstanden har blitt bedre, har man antatt at prosjektet sannsynligvis har virket. Alternativt har man sammenlignet prosjektområdet med utviklingen andre steder.
Problemet med slike sammenligninger er at lokal utvikling påvirkes av en rekke vanskelig observerbare forhold utenfor prosjektet. Vi kan ikke vite hvordan situasjonen hadde utviklet seg uten tiltaket, og vi vet derfor ikke om tiltaket har virket.
Nye måter å evaluere på
De senere årene har «Poverty Action Lab» (J-PAL) ved MIT forsket intensivt på nye evalueringsmetoder, der randomisering er et nøkkelord. Litt som i medisinsk utprøving lar man tilfeldigheter avgjøre hvem som deltar i bistandsprosjektet. De som ikke får delta fungerer som sammenligningsgrunnlag (kontrollgruppe).
Et eksempel: WHO anslår at luftforurensning forårsaker syv millioner dødsfall hvert år. Fire av disse millionene dør på grunn av innendørs luftforurensning. Mye skyldes primitive ovner til matlaging og oppvarming.
Overraskende resultat
En studie fra India, i regi av J-PAL (Hanna et al. 2016), undersøkte effekten av å installere nye, rentbrennende ovner. Tilfeldige husholdninger fikk ny ovn, kontrollgruppen fikk ikke.
Resultatet var overraskende: de som fikk de nye ovnene brukte dem ikke riktig, og de fortsatte samtidig å bruke de forurensende ovnene. Og, viktigst: til tross for at de tilsynelatende var fornøyde, ble lokalbefolkningen påført økte vedlikeholdskostnader og helseeffektene var null!
Må velge det som virker best
Randomisering som evalueringsmetode er enkel og kraftfull, men metoden har også utfordringer. Evalueringene må planlegges nøye, er ofte kostbare, og de kan være etisk problematiske. Likevel er det helt avgjørende for verdens fattige at vi velger de bistandsprosjektene som virker best.
Og det er trolig avgjørende for den folkelige og politiske bistandsoppslutningen at vi kan dokumentere at bistanden faktisk virker.
Referanse:
Artikkelen er publisert som gjestekommentar i Klassekampen 20. desember 2018.
Tekst: Førsteamanuensis Jørgen Juel Andersen, Institutt for samfunnsøkonomi ved Handelshøyskolen BI.