– Bistandsorganisasjonenes tallbruk minner om hviskeleken

Like før jul hørte danske Alexander Kjærum, som jobber som senioranalytiker i Dansk Flyktninghjelp, på en podcast som lages av Aalborg universitet. Temaet var blant annet fremtidens flyktningstrømmer og konsekvensene av klimaendringer.

En av deltagerne refererte til at FN frykter at 700 millioner afrikanere vil bli drevet på flukt av tørke og vannmangel innen 2030. Tallet fikk Kjærum til å stusse.

– Kunne umulig stemme

Han visste at rundt 2,6 millioner afrikanere hadde blitt fordrevet på grunn av vannmangel i Afrika fra 2017 til 2021. 700 millioner innen 2030 var altså ikke bare litt høyt, det var skyhøyt over alle estimater han kjente til.

– Jeg trodde først det var en misforståelse, tallet var både nytt og ekstremt høyt. Men da jeg sjekket viste det seg at tallet var brukt i en rapport laget av FN i 2022, sier Kjærum til Panorama.

Han fant også ut at ulike FN-organisasjoner, FNs generalsekretær Antonio Guterres og flere andre bistandsorganisasjoner en rekke ganger - både for flere år siden og nylig - hadde brukt ulike varianter av tallet. Kjærum var imidlertid ganske sikker på at anslaget ikke kunne være basert på god dokumentasjon og skikkelig metoder.

– Jeg bestemte meg for å finne den opprinnelige kilden, forteller han.

Lette etter kilden

Han sporet først tallet til en rapport som WMO, FNs meteorologiske organisasjon, kom med høsten 2022. Rapporten og tallet, som ble fremhevet i pressemeldingen, ble bredt sitert, blant annet i dansk medier.

Fra WMO-rapporten fulgte Kjærum sporet videre til et rapportutkast laget av FNs klimapanel i 2022. I utkastet sto det eksplisitt at tallene i utkastet ikke skulle siteres. 700-millioner-tallet ble fjernet i den endelige utgaven av rapporten fordi rapportforfatterne ikke klarte å finne det vitenskapelige grunnlaget for tallet.

Men det hindret altså ikke WMO, en av FNs forskningsorganisasjoner, fra å bruke tallet i sin rapport.

Men Kjærum fortsatte, han hadde ikke funnet den opprinnelige kilden.

Han snakket med en bekjent som hadde vært med på å skrive Klimapanelrapporten. Vedkommende mente at tallet stammet fra en konferanse i Paris helt tilbake i 2012. Kjærum klarte å finne programmet for denne konferansen og ganske riktig – tallet var blitt brukt der.

Samme år som konferansen ble holdt i Paris ble tallet også brukt i et faktaark laget av FNs sekretariat mot ørkenspredning (knyttet til UNCCD-konvensjonen).

Men jakten var ikke over. Fra konferanseprogrammet sporet Kjærum tallet til en Unesco-rapport fra 2009.

FN-organisasjonen hadde ifølge den danske analytikeren trolig anslaget fra en Christian Aid-rapport fra 2007. I den rapporten ble noen grove anslag ganget opp med antall år for å komme med spådommer om fremtidig utvikling.

– Som hviskeleken

Kjærum understreker at både Unesco og UNCCD-sekretariatet opererte med et anslag som gikk fra 24 millioner til 700 millioner fordrevet av tørke hovedsakelig i Afrika innen 2030, det var altså stor forskjell på laveste og høyeste anslag.

Og kanskje ikke så overraskende - det høyeste anslaget ble brukt av en rekke andre organisasjoner. Det laveste anslaget forsvant. Ifølge Kjærum er dette ganske vanlig når tall sirkuleres på denne måten.

– Det som skjer minner om hviske-leken. Man har et tall som ofte i utgangspunktet er veldig usikkert. Så sirkulerer dette tallet igjen og igjen og organisasjonene siterer hverandre. Til slutt sitter man igjen med et tall som ikke gir noe mening. Som 700 millioner vann-flyktninger i Afrika innen 2030, sier Kjærum.

FN fjernet tallet

Clare Nullis, som er informasjonsmedarbeider i WMO, bekrefter at tallet ble fjernet både fra den digitale versjonen av rapporten og pressemeldingen etter at Kjærum tok kontakt med FN-organisasjonen.

I en epost til Panorama understreker hun at WMO, som er en forskningsorganisasjon, er veldig opptatt av å kvalitetssikre tallene de bruker.

«Dette var en rapport som en rekke organisasjoner var med på og det var ikke WMO som brakte inn dette tallet, men tallet som ble sitert var mye brukt og også referert til i utkastet til Klimapanelets rapport», skriver hun.

Alexander Kjærum mener dette eksemplet langt fra er enestående og ramser raskt opp en rekke andre eksempler på det han mener er høyst usikre tall brukt av ulike organisasjoner: For eksempel at 43 000 somaliere døde på grunn av tørken i Somalia i 2022. Eller at det kommer til å bli 1,2 milliarder klimaflyktninger innen 2050. Han peker på klare svakheter i utregningen og dataene som ligger bak begge disse mye siterte tallene.

– Men man kan vel ikke kreve at bistandsorganisasjoner bruker vitenskapelige standarder når de lager rapporter?

– Nei, det er jeg enig i. Men man bør kunne forvente en helt grunnleggende kritisk sans og at seriøse organisasjoner faktisk sjekker grunnlaget for tallene man selv bruker og sprer til media. Jeg synes for eksempel at det er ganske ironisk at det var Unesco, FNs organisasjon for høyere utdanning, som medvirket til å spre det veldig tvilsomme tallet på 700 millioner vann-mangel-flyktninger i 2009.

– Hva med organisasjonen du selv jobber for – har Dansk Flyktninghjelp gjort feil på dette området?

– Jeg har arbeidet for DRC i 3 år og kan ikke si noe om tiden før det. Jeg opplever at min organisasjon har en nøktern tilnærming til bruk av tall, i, likhet med mange organisasjoner i bransjen. Men en slik tilnærming gir ofte lite gjennomslag i media, sier Kjærum.

– Fetisj for store tall

Han mener at organisasjoner som arbeider grundig og er konservative i bruken av tall ofte havner i skyggen av organisasjoner som er villige til å ukritisk bruke usikre tall.

– Mange organisasjoner samt media har en fetisj for store tall. Og markedsavdelingene vet jo også at skal de få saker på så hjelper det med noen sjokkerende tall. Problemet er bare at tallene ofte er tatt ut av lufta, sier Kjærum.

Han understreker at dårlige og usikre tall som sirkuleres i rapporter og deretter brukes i media gjør det vanskelig for folk flest å forstå hvordan situasjonen faktisk er. Det samme gjelder for de som bestemmer hvordan bistanden skal brukes, for eksempel på Stortinget eller i Utenriksdepartementet.

– Dårlige tall får konkrete konsekvenser for politikkutforming. Hvis man for eksempel tror at 700 millioner afrikanere må flykte på grunn av vannmangel innen 2030, så kan det hende at man iverksetter en rekke tiltak mot et problem som i realiteten er langt mindre, sier Kjærum.

– Gir feil inntrykk

Han mener også at bruken av svakt funderte tall kan bidra til at det ser ut som tiltak og politikk har lykkes selv om det ikke er tilfelle.

– Hvis man har et anslag på 700 millioner vannflyktninger i Afrika innen 2030, og så ser i 2023 at det faktisk ligger an til å bli «bare» 2-3 millioner - da kan man fort tro at her har organisasjoner og myndigheter gjort en kjempejobb. Men den egentlige grunnen til at tallet er mye lavere er ikke at tiltakene har vært effektive, men at det første anslaget var altfor høyt, sier han.

– Hva mener du kan gjøres for å få bransjen til å skjerpe seg?

– Jeg er tall-person og tror på verdien av data og tall. Men jeg tror samtidig at både bistandsorganisasjoner og humanitære organisasjoner bør være mindre opptatt av å presentere store tall og heller legge vekt på gode analyser og å forklare komplekse problemer. Og de må altså bli bedre til å sjekke tallene de faktisk bruker.

Dukket opp i Norge

Også i Norge er en slektning av tallet som Kjærum gransket vært i bruk. Kirkens Nødhjelp skrev i sitt magasin om vann fra 2020 om at «700 millioner mennesker kan bli tvunget til å forlate hjemmene sine på grunn av vannmangel i 2030.» I utgaven for 2021 var det endret til «Millioner av mennesker….», men tallet levde videre i nettversjonen av 2020-magasinet inntil nylig.

– Vi fjernet det tallet fra teksten i 2021 fordi vi skjønte at det var usikkerhet knyttet til det. Det er viktig for Kirkens Nødhjelp at tallene vi bruker stemmer, sier Aksel Jakobsen som leder KNs avdeling for kommunikasjon og politikk.

– Det er jo ganske stor forskjell på «700 millioner mennesker» og «millioner av mennesker». Er KN og andre bistandsorganisasjoner for ukritiske i sin bruk av store tall?

– Nei, det kjenner vi oss ikke igjen i. Men vi har ikke kapasitet til å sjekke alle tall selv og generelt går vi ut fra at tall fra FN er til å stole på og kan brukes. Men det er selvsagt viktig at tallene fra FN faktisk stemmer.

Jakobsen understreker at Kirkens Nødhjelp er opptatt av å se menneskene bak statistikken og bidra til økt oppmerksomhet om store, globale utfordringer.

– Når det gjelder for eksempelet her, som dreier seg om tørke og vannmangel i Afrika, så er nok ikke problemet først og fremst at det brukes feil tall, men at det er altfor lite oppmerksomhet om problemet og for lite ressurser som kan hjelpe folk og bidra til løsninger. Det er det vi er opptatt av å kommunisere. Men så skal selvsagt faktagrunnlaget stemme, sier Jakobsen.

Problem i mange år

Alexander Kjærum er ikke den eneste som har påpekt at hjelpeorganisasjonene må skjerpe tallbruken sin. I 2014 skrev forsker Henrik Urdal, som nå er direktør for forskningsinstitusjonen PRIO, en kronikk i Morgenbladet med tittelen «Er det greit å lyve i det godes tjeneste?».

Urdal kom med en rekke eksempler på at blant annet Redd Barna og Plan International i kampen om oppmerksomheten hadde falt for fristelsen til å bruke «mytiske tall» - tall som gjør inntrykk, men som ofte er syltynt belagt.

Urdal sier til Panorama at det er viktig at hjelpeorganisasjonene ikke ukritisk bruker slike «mytiske tall».

– Den typen tallbruk fra hjelpeorganisasjonene avstumper offentligheten, gir dårligere grunnlag for beslutninger og svekker tilliten til organisasjonene, sier Urdal.

Morten Jerven er økonom og professor i utviklingsstudier ved NMBU. Få har vært mer systematiske enn den norske forskeren i sin jakt på hvor tallene som blir brukt av nasjonale myndigheter, FN-organer og frivillige organisasjoner egentlig kommer fra.

I 2013 kom han med boka «Poor numbers» hvor et av hovedpoengene var at vi egentlig vet ganske lite sikkert om sentrale utviklingstrekk i mange afrikanske land. Jerven er, som Kjærum og Urdal, kritisk til mye av tallbruken i bistandsbransjen.

– Jeg har jo nesten lyst til å få meg en t-skjorte hvor det står «Hva var det jeg sa?». Jeg mener at lite har forbedret seg på de ti årene som har gått siden jeg skrev den boka. Store tall brukes fortsatt altfor lettvint og veldig usikre estimater og gjetninger presenteres som harde fakta, sier professoren.

– Har du noen eksempler?

– Det er mye å ta av. Men ta for eksempel tallet som Oxfam legger fram på ulikhet i verden hvert år. Etter min mening er det tallakrobatikk og tall som endrer seg veldig hvis for eksempel Jeff Bezos skiller seg. Eller One-kampanjen som regnet ut hvor mye penger som blir hvitvasket hvert år, tilfeldigvis var det en trillion dollar. Det passet veldig bra til en kampanje og et slagord: «The trillion dollar-scandal», sier Jerven.

– Blanding av statistikk og aktivisme

Han trekker også fram bruken av ulike indekser, som han mener er overdrevet.

– Alle skal ha sin egen indeks, det er god måte å få oppmerksomhet på. Men ofte er tallgrunnlaget syltynt og kun basert på estimater fordi det mangler tall fra en rekke land, sier han.

I likhet med Kjærum og Urdal mener Jerven at for mye fokus på tall, ofte store og "dårlige" tall, kan ha veldig uheldige konsekvenser.

– Det medfører det jeg vil kalle en innsnevring av politikken: man blir mer opptatt av at det skal se ut som man gjør noe med et problem enn å faktisk gjøre noe. I mange tilfeller ender man opp med å fokusere på noe som er lett å måle, men som ikke nødvendigvis sier så mye om hvorvidt man har løst et problem eller forbedret situasjonen. Men man får et tall å vise til.

Jerven mener noe av grunnen til at vi ikke er mer kritisk til tallbruken innen bistanden er fordi de fleste problemene som tallfestes er langt unna vår virkelighet.

– Innen bistanden bruker man som regel andres penger på andre folk. Man vil vise at det oppnås resultater og beskrive problemer. Men det underkommuniseres ofte at problemene er veldig komplekse og at det er mye man ikke vet. Da er tilsynelatende sikre tall gode å ha.

– Tror du det er lettere å se gjennom fingrene med usikre tall fordi man jobber med et godt formål?

– «Statactivism» er jo et begrep – en blanding av aktivisme og statistikk. Og jeg tror det er en faktor, ja. Jeg hørte for eksempel på en debatt om «The trillion scandal»- kampanjen jeg nevnte - hvor en debattant sa at det var ikke så farlig om tallet faktisk var riktig, det viktigste var at man fikk problemet opp på agendaen. Man ville neppe godtatt den type argumenter på andre områder, sier Jerven.