– Så dårlig at det er et demokratisk problem

– Resultatrapporteringen fra den svenske regjeringen til Riksdagen er etter vår mening så dårlig at det er vanskelig for de folkevalgte å forstå hva slags resultater svensk bistand gir. Det er et demokratisk problem, sier Númi Östlund.

Han er tilknyttet Ekspertgruppen for bistandsanalyse (EBA), et statlig organ som produserer uavhengige evalueringer og analyser av Sveriges bistand.

Sammen med kollega Helena Hede Skagerlind har Östlund gransket rapporteringen den svenske regjeringen årlig gir Riksdagen om hvilke resultater Sveriges bistandsmilliarder gir ute i verden. Arbeidet resulterte i den svært kritiske rapporten «Det er resultatene som teller: For en bedre resultatrapportering av svensk bistand».

Der konkluderer de to ekspertene med at regjeringen ikke oppfyller grunnleggende krav til god rapportering, og at rapporteringen svikter både på transparens, relevans, pålitelighet og forståelighet.

– I rapporteringen fra regjeringen til Riksdagen finner man lite eller ingenting om effekten av svensk bistand. Det burde jo vært helt sentralt å svare på hva slags effekt de svenske bistandsmilliardene har. I rapporteringen er det i stedet massevis med eksempler på ulike innsatser, prosjekter og mye om hvilke faktorer som har påvirket arbeidet, sier Östlund.

– Lignende problemer i Norge

Han og Hede Skagerlind har i rapporten også sammenlignet den svenske regjeringens rapportering til de folkevalgte med rapporteringen den norske regjeringen gir til Stortinget. 

De så på Støre-regjeringens rapportering om resultatene av norsk bistand i 2022, som ble presentert for Stortinget høsten året etter. 

– Den norske regjeringens rapportering til Stortinget er bedre strukturert enn den svenske, noe som burde gjøre det lettere å rapportere konkret om hva man har fått til. Men i praksis ser vi mange av de samme svakhetene i den norske regjeringens rapportering til de folkevalgte som i rapporteringen fra den svenske regjeringen, sier Hede Skagerlind.

Mangler indikatorer

I rapporten heter det blant annet at den norske regjeringens rapportering er «ustrukturert» og «uoversiktlig». 

Rapportforfatterne påpeker også at den norske rapporteringen, som den svenske, mangler klare kriterier for måloppnåelse. Det er mye tekst om hva som er blitt gjort, eller hva man har støttet, men lite om hva de norske milliardene har skapt av resultater. For eksempel presenteres norske bidrag til multilaterale organisasjoner ofte som et resultat i seg selv, uten å gå inn på hva pengene har gitt av konkrete resultater. Hede Skagerlind etterlyser en analyse som viser effekten av de norske pengene.

– Også i den norske regjeringens rapportering er det mange enkelteksempler på vellykkede innsatser, men få eller ingen eksempler på mislykket bistand – som etter vår mening også bør være en del av rapporteringen, sier den svenske bistandseksperten.

Som et eksempel av flere på mangelfull resultatrapportering fra den norske regjeringen, trekkes det i rapporten fram at regjeringen i rapporteringen til Stortinget for 2022 fastslår at norsk bistand har bidratt til å nå målet om reduksjon av ikke-smittsomme sykdommer i fattige land. 

Men regjeringen gir ingen håndfaste data eller indikatorer som viser hvordan norsk bistand faktisk har bidratt til dette. I stedet er det en rekke beskrivelser av hva som er blitt gjort, ulike satsinger og ulike faktorer som har påvirket arbeidet.

– Vi kan avgjort bli bedre på å rapportere målbare resultater av større innsatser, vedgår pressetalsperson i UD, Helene Sandbu Ryeng. Hun poengterer at det i dette eksempelet kan være mange årsaker til at det ikke er enkelt å rapportere resultater av den norske støtten.

– Vi kan være ett av mange land som støtter organisasjonen. Organisasjonen kan arbeide med flere ting i tillegg til å begrense spredningen av en sykdom. Norge gir kanskje kjernestøtte, mens organisasjonen også får øremerket støtte. Og i tillegg er det et kontrafaktisk element i å beregne hvordan sykdommen ville ha spredt seg uten organisasjonens innsats, sier Ryeng. 

Rapporterte for gode resultater

I tillegg til rapporten fra Östlund og Hede Skagerlind kom Ekspertgruppen for bistandsanalyse (EBA) nylig med nok en rapport som har skapt rabalder i Sverige. EBAs bistandsekspert Markus Burman gransket kvaliteten på Sidas årsrapporter til den svenske regjeringen og fant en rekke feil.

I rapporten ettergås blant annet tolv tall Sida brukte i sine årsrapporter for 2021 og 2022. Tallene ble brukt til å dokumentere at svensk bistand har bidratt til å skape arbeidsplasser i fattige land. 

Men i rapporten fastslås det at Sida ikke hadde dekning for sju av de tolv tallene. 

I alle de sju tilfellene av feilrapportering rapporterte Sida bedre resultater enn det var dekning for. 

I noen tilfeller hadde Sida brukt målsettinger og prognoser som oppnådde resultater.

I andre tilfeller var tallene rett og slett feil – i et konkret tilfelle oppga Sida i sin årsrapport for 2021 at svensk bistand hadde skapt 40.000 arbeidsplasser i Etiopia. Men da rapportforfatteren sjekket tallet med den svenske ambassaden viste det seg at det riktige tallet var 4000. Det ble altså lagt til en null i Sida årsrapport til regjeringen.

I EBA-rapporten heter det blant annet at det er «mangelfull overensstemmelse mellom resultatene som rapporteres i Sidas årsrapport og det som kan leses ut av den primære kilden. Konklusjonen er at årsrapportens kvantitative resultateksempler på sysselsettingsområdet ofte ikke gir et riktig bilde i forhold til det underlaget de er basert på.»

– Bedre rapportering mulig

Östlund og Hede Skagerlind argumenterer for at det er fullt mulig for regjeringen å lage bedre, riktigere og mer oversiktlig rapportering. De to EBA-ekspertene mener dette er viktig fordi det vil gjøre det lettere for de folkevalgte i Riksdagen å forstå hvilke resultater de svenske bistandsmilliardene gir, samt å beslutte hvordan bistanden best bør brukes.

– Vi mener at rapporteringen til Riksdagen bør være mer fokusert på de overordnede målsettingene og i større grad være tilpasset den som skal lese rapporteringen. Det bør også være et sterkere søkelys på læring. Derfor bør man også ha med eksempler på mislykket bistand og ikke bare eksempel på vellykkede innsatser. Og det bør fremgå mye tydeligere i rapporteringen hva som er effekten av svensk – eller norsk – bistand, sier Númi Östlund til Panorama. 

Sveriges regjering: Skal endre og forenkle

I et skriftlig svar på spørsmål fra Panorama understreker pressevakten i svensk UD blant annet at regjeringen tar funnene i EBA-rapportene på «stort alvor» og at regjeringen er i ferd med å gjennomføre en omfattende modernisering av svensk bistand.

«EBAs rapport bekrefter viktigheten av å reformere resultatrapporteringen, med start hos Sida, via regjeringen og videre til Riksdagen. Et arbeid med å forenkle, forbedre og tydeliggjøre resultatrapporteringen er igangsatt, slik det ble varslet i regjeringens reformagenda «Bistand for en ny æra – Frihet, myndiggjøring og bærekraftig vekst», heter det i svaret.

Pressevakten skriver videre at regjeringen 17. september i år overleverte en redegjørelse til Riksdagen om Riksrevisjonens rapport om Sveriges bistand, hvor regjeringen understreket at «resultatrapporteringen til Riksdagen skal utvikles for å fungere enda bedre for læring, styring og ansvarliggjøring.»

Norsk UD: – Ikke optimalt

– Vi erkjenner at resultatrapporteringen til Stortinget ikke er optimal, derfor jobbes det med formatet, sier Helene Sandbu Ryeng i norske UD.

Ryeng trekker fram flere utfordringer som gjør den årlige rapporteringen til de folkevalgte krevende:

• Flere land/aktører som bidrar i innsatser 
• Noen innsatser er vanskeligere å måle enn andre
• Ulik lengde på og type partnerskap 
• Systemendringer tar tid – å rapportere på resultater underveis kan være vanskelig

– I Sverige har regjeringen varslet at de vil gjennomgå måten de rapporterer til Riksdagen på, med tanke på å forbedre rapporteringen. Finnes det noen lignende planer fra den norske regjeringen om å endre/forbedre rapporteringen til Stortinget?

– Som tidligere nevnt, arbeider vi kontinuerlig med å forbedre resultatrapporteringen. Vi har nylig gjennomført en stor omlegging av ansvarsdelingen mellom UD og Norad, med overføring av ytterligere forvaltningsoppgaver til Norad. Norad er i ferd med å tilpasse sin organisasjon til dette. Det inkluderer også arbeid med resultater.

– En EBA-rapport fant mange feil i Sidas årsrapporter til den svenske regjeringen. Er UD trygge på at rapporteringen fra Norad til regjeringen er god nok? 

– Mine tidligere svar illustrerer at rapportering av resultater kan være krevende. Utenriksdepartementet har tillit til at Norad gjør så godt de kan ut ifra tilgjengelige ressurser.