Stråmenn og vidåpne dører i debatten om metode i bistanden

I fjor fikk Norad en ny strategi. Den sier at «fakta skal ha makta» og fremhever som et eget strategisk mål at Norad skal «styrke og systematisere utvikling, deling og bruk av kunnskap».

Håvard Mokleiv Nygård

Direktør i Norads Avdeling for kunnskap

Bistanden kan vise til imponerende resultater. Vi vet at bistand bidrar til økonomisk vekst og til demokrati og demokratisering. Vi kan og vise til konkrete resultater innen mer spesifikke områder som helse og utdanning. Norads kunnskapssatsing handler om å styrke og videreutvikle alt det gode arbeidet som gjøres.

I årene som kommer, vil bistand trenges enda mer. Ekstremfattigdommen i verden øker for første gang på lenge, og det var før vi så konsekvensene av Russlands angrep på Ukraina. Samtidig som dette skjer, vil kontekstene vi jobber i bli enda mer utfordrende. Verdensbanken anslår at i 2030 vil 2 av 3 av verdens ekstremfattige leve i sårbare og konfliktfylte land. Det er en økning fra rundt 1 av 5 i 2010.

Kontrollerte eksperimenter

Flere av landene der norsk bistand er mest aktiv, vil være blant dem som ser de største og mest ødeleggende effektene av klimaendringer. Dette vil skje samtidig som de samme landene er utsatt for konflikt og politisk ustabilitet. Og i dette skal norsk bistand prøve å forbedre livene til verdens aller fattigste. For å lykkes med det trenger vi at bistanden holder så høy kvalitet som overhodet mulig. Det klarer vi ikke uten å tenke nytt om hvordan vi bruker kunnskap til å utforme, implementere og følge opp bistanden.

I dette jobber vi bredt, på tvers av bistanden, med en rekke forskjellige større eller mindre initiativ. Et konkret initiativ, som Benjaminsen ser ut til å ha hengt seg opp i, er at vi ønsker mer bruk av kontrollerte eksperimenter i norsk bistand.

Når noen skriver noe positivt om kontrollerte eksperimenter, er det en tendens til at det blir tolket som en nedvurdering av andre metoder. Her vil jeg forklare hvorfor, når og hvordan vi skal bruke kontrollerte eksperimenter. Før jeg gjør det, tillat meg å løfte det metodiske blikket litt.

Noe av det meste berikende jeg gjorde som forsker, var et prosjekt som prøvde å finne ut om det var blitt mindre krig i verden. Dette var et forsøk på å ganske enkelt beskrive en trend. God beskrivelse av trender er uvurderlig i politikkutvikling, for vår forståelse av verden vi lever i og for sentrale sammenhenger – det er også metodisk enormt krevende.

Studier som prøver å forstå når og hvordan ikke-voldelige bevegelser lykkes, gir oss håp om en verden uten diktatorer. Slik forskning kan aldri lene seg på kontrollerte eksperimenter. Etter mitt syn er de to viktigste bøkene som er skrevet om utvikling Development as Freedom av Amartya Sen og Seeing like the State av James Scott. Det er ingen eksperimenter i de bøkene. Bare uovertruffen samfunnsvitenskap. Så når jeg nå skriver ganske mange ord om fortreffeligheten til kontrollerte eksperimenter, håper jeg ikke det tolkes som skriveriene til en nyfrelst randomista.

Les også: Hvilke fakta skal ha makta?

Mer katolsk enn paven?

Kontrollerte eksperimenter, og beslektede kvasi-eksperimentelle forskningsdesign, egner seg spesielt godt, ja best av alle metoder, for å gi et konkret og presist svar på hva den kausale effekten av et bistandstiltak har vært – i et gitt tilfelle og i en gitt kontekst. Den typen effektkunnskap er uvurderlig for Norad og noe deler av bistandssystemet sårt trenger mer av. Vi trenger slik kunnskap for å gjøre helt nødvendige avveininger og prioriteringer innad i bistanden. Vi plikter å sørge for at pengene blir brukt der de kan ha mest effekt. Alt annet ville være uansvarlig.

Norge har finansiert mange kontrollerte eksperimenter blant annet gjennom den multilaterale bistanden vår, spesielt innen helsefeltet. Men fremdeles er det slik at metoden er underbrukt (det er i hvert fall mitt syn) i norsk bistand. Derfor setter vi kontrollerte eksperimenter på dagsorden.

Kritikken av kontrollerte eksperimenter Benjaminsen trekker frem, er velkjent. Hovedstyrken til kontrollerte eksperimenter er at de har bedre indre validitet og høy grad av presisjon. Det er det som gjør at vi kan trekke kausale slutninger om effekt på bakgrunn av dem. Kritikken er ofte at de mangler ekstern validitet, du kan ikke generalisere til andre kontekster. Generalisering er så klart viktig. Samfunn er heterogene og utvikling er en kompleks prosess. Noe som virker bra et sted, vil ikke nødvendigvis virke like bra, eller i det hele tatt, et annet sted. Den typen lovmessighet kan vi bare drømme om i bistanden og i samfunnsvitenskapen mer generelt.

Ikke desto mindre, til denne velkjente kritikken er det tre åpenbare motargumenter. Først det første: du gjør det ikke vitenskapelige bedre for deg selv ved å generalisere med utgangspunkt i en studie som mangler nettopp indre validitet. Du gjør det bare enklere for deg selv.

For det andre: vi i bistandssystemet tar ikke avgjørelser om tiltak basert på en enkelt studie. Dersom vi skulle bestemme oss for å fullstendig fase ut en type tiltak, ville det være på bakgrunn av syntese og metastudier som setter sammen resultatene på tvers av en lang rekke kontrollerte eksperimenter som hver på sin måte belyser aspekter, kontekster og mekanismer som er viktige for oss. I tillegg til at vi selvfølgelig baserer slike avgjørelser på en masse annen kunnskap, fra et bredt spekter av metoder.

Og for det tredje: til og med i de kontrollerte eksperiments høyborg, blant yppersteprestene i Cambridge ved JPAL, fremheves gang på gang på gang viktigheten av et «mixed methods»-design når du gjør kontrollerte eksperimenter.

Metodisk middelmådighet

Så et poeng så åpenbart at det ikke burde være nødvendig å skrive: Spørsmålet bestemmer metoden. Vi skal bruke kontrollerte eksperimenter når det er den beste metoden for å svare på og gi oss den kunnskapen vi trenger i et gitt tilfelle og når kostnadene kan forsvare det. Kontrollerte eksperimenter er uovertrufne på spørsmål knyttet til kausal effekt. De kan også gi enormt verdifull informasjon om mekanismer – hvordan og hvorfor funket det ikke? Dette vil være nyttig og relevant i store deler av porteføljene våre. Men i store deler, ja kanskje den største, vil kontrollerte eksperimenter ikke være hensiktsmessig, mulig eller beste metode. Tro det eller ei, men da skal vi faktisk bruke andre metoder.

Det jeg derimot ikke vil ha, er metodisk middelmådighet. Jeg vil ikke ha faglig og metodisk svake studier som ikke er etterprøvbare og som unnlater å spesifisere og sette opp det beste metodiske opplegget for å svare ut det som skal svares ut. Som hverken kan brukes til å si noe kausalt eller til å generalisere, men som allikevel blir brukt til å trekke konklusjoner på et høyst usikkert kunnskapsgrunnlag. Bistand er å sette i gang en masse tiltak som har direkte effekt på folks liv og levekår. Slike tiltak kan ha negative effekter og de kan ha store uintenderte effekter. Det er ikke vanskelig å finne eksempler på dette i bistandshistorien. Å ikke gå systematisk og vitenskapelig til verks for å skaffe oss kunnskap om hvordan bistanden vår virker og slår ut blant dem den skal ha effekt hos, er uetisk.

Hvordan bygger vi kunnskap?

For å gjenta meg selv: Metodisk er det høyt under taket hos Norad. Kontrollerte eksperimenter skal brukes til det de er best på. Andre typer studier, basert blant annet på en rekke ulike kvalitative metoder som etnografi og feltstudier, case-studier, og kvantitative observasjonsbaserte studier, og så videre, skal brukes der de vil gi best informasjon. Følgeforskning er ekstremt nyttig i mange tilfeller. Alt dette skal vi i Norad og våre partnere bli enda bedre på enn vi er i dag.

Når Norads saksbehandlere og ledere så skal ta avgjørelser om avtaler og tiltak, og sette strategisk retning på norsk bistand, vil vi aldri lene oss på en enkelt studie, eller en enkelt metode alene. Den enormt viktige og vanskelige jobben Norads saksbehandlere har, er å sette systematisk forskning – basert på forskjellige metoder – sammen med våre egne og andres evalueringer og, vel så viktig, med saksbehandlerens egen og våre partneres mangeårige og dype erfaring med temaet for så å treffe en beslutning. Avdeling for kunnskap sin oppgave er å støtte organisasjonen i dette arbeidet, sørge for at vi har de systemene og den kunnskapen som trengs for å gjøre det skikkelig, og, fra tid til annen, rope, pushe, legge til rette for at vi for eksempel gjør flere kontrollerte eksperimenter.

Les også: Skal fakta ha makta, må makta ha troverdige fakta

Dude, where’s my country?

Benjaminsen gjør et poeng av at vi ikke lenger bryr oss om kontekst eller etterspør landkunnskap. Når vi ønsker å se mer bruk av kontrollerte eksperimenter, legger vi nettopp til rette for at dette skjer gjennom et lengre og et dypt samarbeid mellom forskere og våre partnere. Det er helt nødvendig nettopp for å sørge for at kontekst gjennomsyrer hele prosessen – det er en meningsløs stråmann å hevde at forskere som driver med kontrollerte eksperimenter, ikke bryr seg om kontekst.

For tiden jobber vi derfor med Development Learning Lab, ledet av CMI med en rekke partnere fra forskning og bistand, og International Intitative for Impact Evaluation (3ie) for å legge til rette for læringsarenaer og gode prosesser som gjør at de gangene vi skal bruke kontrollerte eksperimenter, så gjøres det skikkelig. Og, igjen for å gjenta meg selv til det kjedsommelige, for å sørge for at de gangene andre metoder er bedre, så skal beste metode brukes på mest systematiske måte.

Så vil alltid dette kun være en mindre del av den store kunnskapssatsingen hos Norad. Den bredere handler vel så mye om vår interne kunnskapsforvaltning og hvordan vi tar beslutninger og gjør prioriteringer. I dette er nettopp land og kontekst helt sentralt. La meg ta et eksempel:

Norsk bistandsstatistikk og norske bistandsresultater, som de er samlet inn av Norad, er ikke geokodede. En spesifikk sak vi jobber med nå, er nettopp å få på plass dette. Det vil gjøre det mulig å koble våre bistandsdata sammen med det enorme tilfanget av data som finnes der ute og som kan gi oss oppdatert og kritisk kunnskap om hva som skjer ikke bare i landene, men lokalt der bistanden operer, hvordan den slår ut i lokalsamfunn og hvilke effekter den har langs en lange rekke viktige mål. Her har vi bare så vidt begynt. Watch this space!