– Vi vet mindre om hva slags bistand som virker

Norsk bistand er i kraftig vekst. I 2022 var bistanden på nærmere 50 milliarder kroner. I år vil bistandsforbruket øke ytterligere og trolig ende opp på nærmere 60 milliarder.

Bistanden til Ukraina er den viktigste årsaken til den eksplosive veksten de to siste årene. Men tendensen har vært den samme i mange år. Hovedforklaringen er solid vekst i norsk økonomi og den brede enigheten på Stortinget om at bistanden skal utgjøre minst én prosent av bruttonasjonalinntekt.

0,02 prosent av budsjettet til evaluering

Men samtidig som bistandsbudsjettet har vokst, bevilges det stadig mindre penger til uavhengige evalueringer av norsk bistand. Her er noen tall som illustrerer utviklingen:

• I 2012, var bistandsbudsjettet på drøyt 27 milliarder kroner. Norads evalueringsavdeling, som har hovedansvaret for uavhengig evaluering av all norsk bistand, fikk 33,2 millioner kroner til å gjennomføre evalueringer. Lønnsmidler til 11 ansatte kom i tillegg.
• Ti år senere hadde bistandsbudsjettet vokst til nesten 50 milliarder kroner. Men budsjettet evalueringsavdelingen i Norad rådde over til evaluering var nesten halvert – til 16,3 millioner kroner. Antallet ansatte var samtidig redusert til åtte.
• I år er bistandsbudsjettet på nesten 60 milliarder kroner, mens det er satt av drøyt 12 millioner kroner – tilsvarende 0,02 prosent av budsjettet – til evalueringsavdelingens arbeid. Lønnsmidler til ni ansatte kommer i tillegg. 

En hovedoppgave

På Norads hjemmesider står det at evalueringsavdelingen har et «særskilt ansvar for å dokumentere i hvilken grad norsk bistand er effektiv, relevant og oppnår resultater som forutsatt.» 

Selv om avdelingen ligger i Norad og også har som oppgave å evaluere Norads arbeid, er uavhengighet i arbeidet vektlagt. Evalueringsavdelingens oppgaver og ansvar er fastsatt av en egen instruks fra Utenriksdepartementet og Klima- og miljødepartementet (KLD). Avdelingen avgjør hva som skal evalueres og - for å sikre uavhengighet – rapporterer sjefen for avdelingen, avdelingsdirektør Helge Østtveiten, direkte til ledelsen i UD og KLD.

I tillegg til det arbeidet Norads evalueringsavdeling gjør, bestiller Norads og UDs avdelinger, samt ambassadene også egne evalueringer – såkalte desentraliserte evalueringer. Men disse evalueringene har ikke de samme kravene til kvalitet og uavhengighet som Norads evalueringsavdeling har.

To evalueringer, i 2017 og 2020, kom med krass kritikk av kvaliteten på det evalueringsarbeidet som avdelingene og ambassadene hadde gjennomført.

 – Rundt halvparten av de desentraliserte evalueringene har så store svakheter at det er grunn til å stille spørsmål om disse gir troverdig informasjon om effekter og resultater av norsk bistand, sa fungerende evalueringsdirektør Siv Lillestøl i 2021. 

Kritisk

Elling Tjønneland, som er seniorforsker ved Chr. Michelsens institutt (CMI) i Bergen, er meget kritisk det han mener er en systematisk nedprioritering av evalueringsarbeidet. 

– Uavhengige evalueringer er en viktig kilde til lærdom og kunnskap om hva som virker og ikke virker innen bistanden. Når det brukes mindre penger på evaluering betyr det at vi vet mindre og mindre om effekten av bistandsmilliardene Norge bruker, sier han. 

Når bistandsbudsjettet vokser, mens stadig mindre – både nominelt og som andel av budsjettet – brukes på uavhengige evalueringer, øker risikoen for at norske penger blir brukt på dårlige prosjekter, mener den svært erfarne bistands- og utviklingsforskeren.

– Hvis vi ikke har kunnskap om hva som virker, så er det innlysende at det er større fare for å bruke penger på måter som gir mindre god effekt enn det kunne gjort, sier Tjønneland. 

– Hvorfor tror pengebruken til uavhengig evaluering har gått ned gjennom mange år?

– Dette er en del av en større prosess. Bistandsbudsjettet har vokst kraftig i mange år, men man har ikke ønsket å bruke mer penger på forvaltning og kontroll. Det er selvfølgelig vanskelig å følge opp penger som brukes utenfor Norges grenser og som ofte brukes av aktører som ikke er norske. Men det gjør jo evalueringsarbeidet bare enda viktigere, sier Tjønneland. 

– Lærer mindre

Per Øyvind Bastøe ledet tidligere Norads evalueringsavdeling. Han har også erfaring fra flere av utviklingsbankene og jobber nå som uavhengig konsulent og rådgiver. I likhet med Tjønneland er han kritisk til det han mener er manglende prioritering av uavhengige evalueringer. Han understreker at bistand er vanskelig, og ofte foregår i krevende land og at feil derfor er noe man må regne med og akseptere at skjer. 

– Men det vi ikke bør akseptere er at man fortsetter å gjøre de samme feilene igjen og igjen, uten å sørge for skikkelige systemer for læring og kontroll. På dette området må det jobbes systematisk, og uavhengig evalueringsarbeid er en veldig viktig del av dette, sier Bastøe.

Han understreker at selv om man i norsk bistandsforvaltning også har andre former for kontroll og kvalitetssikring, så står uavhengige evalueringer i en særstilling når det gjelder å samle kunnskap om effekten av bistanden.

– Det ligger både systematisk læring og en kontrollfunksjon i evalueringene. Desto mindre ressurser vi gir til evalueringsarbeidet, desto mindre lærer vi, påpeker Bastøe.

Han mener at evalueringsarbeid tradisjonelt ikke er høyt prioritert i norsk forvaltning og viser til at man i for eksempel i Sverige både har en egen enhet som gjennomfører uavhengige evalueringer av bistanden og at departementene også sørger for at slike evalueringer blir gjort. 

– Internasjonalt, både i OECD og FN, vektlegges evalueringsarbeidet i mye større grad enn i Norge. FN-organisasjonene anbefaler at mellom 1 og 3 prosent av det operative budsjettet skal brukes på evaluering. I Norge ville det bety en massiv økning fra dagens nivå, sier Bastøe.

 Sandkjær: – Et betydelig løft

Bevilgningen til evaluering på inneværende års budsjett tilsvarer om lag 0,02 prosent av bistandsbudsjettet. 

Panorama nyheter har stilt spørsmål til politisk ledelse i UD om hvorfor det i norsk bistandsforvaltning settes av stadig mindre penger til uavhengige evalueringer. I et skriftlig svar understreker statssekretær Bjørg Sandkjær at både uavhengige og desentraliserte evalueringer er viktige, og at det i statsbudsjettet i år for første gang åpnes for at effektevaluering og følgeforskning blir en integrert del av bistandsprogrammer. 

– Det vil gi et betydelig løft til evalueringsarbeidet i norsk bistand. Det kommer som et nyttig supplement til de uavhengige evalueringene, men skal ikke erstatte dem, skriver Sandkjær.

 Statssekretæren påpeker at kostnadene til de desentraliserte og løpende evalueringene kommer i tillegg til og belastes andre budsjettposter enn Norads evalueringsavdeling. 

 – Men hvorfor settes det av stadig mindre penger til Norads evalueringsavdeling, som har en helt sentral rolle i dette arbeidet? 

– Departementet har en god dialog med Evalueringsavdelingen i Norad om evalueringsprogrammet. Norad tildeles midler til drift og administrasjon, inkludert evaluering. Utenriksdepartementet detaljstyrer ikke intern ressursfordeling i Norad. 

– CMI-forsker Elling Tjønneland og tidligere evalueringsdirektør Per Øyvind Bastøe mener nedprioriteringen av uavhengige evalueringer gjør at vi vet stadig mindre om hva som virker og dermed øker risikoen for dårlig bistand?

– Regjeringen prioriterer arbeidet med evaluerings- og kunnskapsinnhenting høyt. Det pågår spennende arbeid med å bake inn evalueringer i bistandsprogrammene, noe som gjør det enklere å justere programmer underveis og øke effekten på bakken. Ekspertrapporten «Investering i en felles framtid», påpeker også nytten av mer og bedre integrering av kunnskap og evaluering i programmer, skriver Sandkjær.

Og tilføyer:

– I tillegg kommer de uavhengige evalueringene inn med viktig kunnskap, og leses med stor interesse. Sammen med en rekke andre rapporter, evalueringer fra multilaterale organisasjoner og mer, har vi et godt tilfang av kunnskap, og vi jobber for å bli enda bedre.