Norads metodiske samrøre

Inge Tvedten

er pensjonert antropolog

Norad ønsker å utvikle mer systematisk kunnskap om effekten av bistand under mottoet «Fakta har makta». For oss som har fulgt bistanden lenge som forskere og evaluatorer er dette på høy tid.

Altfor mange prosjekter har blitt godkjent og igangsatt uten et tilstrekkelig analytisk og metodisk grunnlag for planlegging, gjennomføring og evaluering.

Slike interne prosesser har en tendens til å leve sine egne liv. Norad burde derfor ønske eksterne innspill og offentlig debatt velkommen. Tor A. Benjaminsens artikkel «Hvilke fakta har makta» er et slikt innspill.

Direktør Håvard Mokleiv Nygård i Norads Avdeling for kunnskap viser i sitt smått arrogante tilsvar «Stråmenn og vidåpne dører i debatten om metode i bistanden» at Norad fortsatt er seg selv nok. Det lover ikke godt.

Tilsvaret til Anita Haslie og Tove Heggli Sagmo («Fakta om en kompleks verden») er mer imøtekommende, men det er uklart hva Norads nye ‘metodeløft’ egentlig består av utover et større fokus på kvantitative data og kontrollerte eksperimenter.

Lukkede dører

Nygård hevder for det første at den nye satsningen på kvantitative metoder som kontrollerte eksperimenter og statistikk er mer robuste enn andre metoder. Det er det ikke grunnlag for å si. Metodene «beviser» kausalitet/korrelasjoner mellom de variablene eller enhetene som er bygget inn i modellene, men det er ingen garanti for at disse er de mest relevante og viktigste. For å identifisere slike, er kvalitative metoder sentrale og like ‘vitenskapelige’.

For det andre hevder Nygård at kontrollerte eksperimenter tar hensyn til kontekst og bruker kvalitative metoder. Det må bero på en svært selektiv lesning av litteraturen. I praksis hører bruken av kvalitative metoder til sjeldenhetene. Også ledende økonomer har pekt på at eksperimenter er metode-drevet, gir konsekvent forrang til kvantitative størrelser og ikke fanger opp det større bildet (kontekst).

Endelig hevder Nygård at Norad systematisk bruker ulike metoder til ulike formål. Dette er en påstand som er vanskelig å forholde seg til for utenforstående. En kilde til kunnskap om temaet er Norads egen serie «Country Evaluation Briefs» som samler funn om bistandsinnsats fra 18 land på grunnlag av et vidt spekter av prosjektevalueringer. En rød tråd i disse studiene er nettopp mangelen på analytisk og metodisk stringens for å forstå bistandens effekt eller samfunnsnytte.

Mer åpenhet

Internasjonal litteratur om effekt/impact studier i bistanden skiller gjerne mellom fem ulike hovedkategorier av metoder. Disse er: i) statistiske, ii) eksperimentelle, iii) teoribaserte, iv) case-baserte og vi) deltakende/antropologiske. I tillegg er kontekstanalyser framhevet som en vesentlig forutsetning for å kunne identifisere relevant analytisk nivå og stille de riktige spørsmålene.

Valg av metode er ikke bare ‘teknisk’. Det gjenspeiler også ulike forståelser av grunnlaget for samfunnsendring og hvordan fattigdom best kan reduseres.

Kvantitative metoder fokuserer på individer, hushold og andre målbare enheter, og reflekterer et (liberalistisk) perspektiv der endring framkommer ved å tilføre ressurser og sette aktører (individer, hushold, bedrifter etc.) i stand til å handle.

Kvalitative tilnæringer fokuserer på kontekts, prosesser og relasjoner og ser på makt og ulikhet som grunnleggende for å forstå fattigdom både på makro- og mikro-nivå. I et slikt perskeptiv vil fokus være på strukurer (politiske, økonomiske, sosiale, kulturelle) som begrenser fattiges handlingsrom.

Ingen av disse metodene er alene tilstrekkelig for å forstå effekten av bistand verken på prosjekt eller mer overgripende nivå. «Mixen» vil avhenge av typen prosjekt, men bør bestå både av kvantitative og kvalitative elementer. De bør også inneholde eksplisitte teorier om endring, for å kunne generalisere til andre kontekster og brukes komparativt.

Det er på høy tid at Norad fokuserer på metode som redskap for mer kunnskap om effekten av bistand. Dette bør imidlertid gjøres med et åpnere sinn for kritiske innspill utenfra enn det Nygård legger for dagen.