Go to main navigation

Debatt

”Utvärderingar måste kopplas till användarna”

Att utvärdera bistånd med så kallade randomiserade effektutvärderingar är en trend som många givare är på väg att överge. Det anser tre representanter från konsultföretaget Indevelop, som utför merparten av Sidas utvärderingar, i ett svar till Expertgruppen för biståndsanalys, EBA.

I en nyligen släppt rapport från Expertgruppen för biståndsanalys, EBA, som sammanfattas i en debattartikel i OmVärldens nyhetsbrev den 22 maj, hävdas det otvetydigt att “randomiserade experiment under rätta omständigheter är den bästa metod som finns tillgänglig för effektutvärdering…”.

Sida uppmanas att hoppa på trenden med randomiserade experiment (Randomised Controlled Trials, RCT, på engelska) som har pågått under det senaste decenniet inom utvecklingsutvärderingar. Men det är en trend som börjar ifrågasättas eftersom många biståndsaktörer har insett att metoden knappast är den enkla lösning på hur man lär sig förbättra det internationella utvecklingsbiståndet.

I Sidas syn på utvärderingar läggs en stor vikt vid att utvärderingar ska ha ett tydligt användarfokus (så kallad Utilisation Focused Evaluations) där man lägger tonvikten vid hur användarna ska dra nytta av utvärderingen. När man tittar på kvaliteten av en viss utvärderingsmetod bör utgångspunkten vara en analys av vem som ska använda utvärderingen och till vad.

Under de senaste tre åren har vi utfört över hundra utvärderingar av svenska biståndsinsatser på uppdrag av Sida. De handläggare som vi har arbetat med i dessa utvärderingar har varit tydliga med att de vill att utvärderingarna de beställer ska leda till en förbättring av biståndsinsatsen och ett gemensamt lärande, både hos Sida och den genomförande organisationen, om vad som fungerar bra och vad som fungerar mindre bra.

Detta lärande ska ske till ett så lågt pris som möjligt. Vi ser inte att randomiserade experiment svarar upp mot någon av dessa förväntningar eftersom metoden endast svarar på snäva frågor om måluppfyllelse (och inte på övriga frågor som användarna ofta vill ha med i uppdragsbeskrivningen för utvärderingen) och på frågor med ett begränsat antal variabler.

Ett randomiserat experiment kostar också betydligt mer än vad Sida är villig att lägga på en utvärdering. Andra biståndsorganisationer, så som Department for International Development , DfID, i Storbritannien, börjar nu inse begränsningarna med randomiserade experiment och de ses inte längre som den enda lösningen för att mäta effekter av biståndet. Metoden har visat sig vara användbar för vissa specifika syften och artikelförfattarna gör rätt i att fråga varför metoden aldrig har använts av Sida.

Dock reflekterar inte artikelförfattarna över att man alltmer ifrågasätter metoden som en helhetslösning, eller ”golden standard”, för att mäta effekter av biståndsinsatser. Vad är det Sida vill ha och behöver från utvärderingar?

Man vill veta hur det man utvärderar lever upp till OECD/DAC:s kriterier för utvärderingar som täcker in fler aspekter än det som randomiserade experiment främst tittar på. Frågor om insatsens relevans, effektivitet och långsiktiga bärkraftighet är viktiga delar som inte täcks in av metoden. Den fångar inte heller in de komplexa samband som ofta samverkar för att en biståndsinsats ska nå sina långsiktiga mål.

Om utvärderingar ska ses som användbara som underlag för beslut på nationell nivå i de länder insatserna genomförs så måste metoden även täcka in frågor om vad som fungerar i just det specifika geo-politiska och ekonomiska sammanhang där de utförs.

Det svenska biståndet handlar till stor del om stöd till kapacitetsutveckling där man stödjer organisationer och institutioner att själva utveckla sina egna mål. Detta är ett område som även de största påhejarna av randomiserade experiment erkänner att metoden är mindre lämpad för.

Vi håller med författarna av EBA- rapporten om att det är högst problematiskt att Sverige inte har åtagit sig att utvärdera de långsiktiga effekterna av det svenska biståndet. Vi ser också att det finns vissa fall då randomiserade experiment kan vara en användbar metod för att göra detta. Från vår omfattande erfarenhet av att utvärdera svenska biståndsinsatser ser vi dock att en förbättring av utvärderingar behöver kopplas samman med användandet av själva utvärderingen (hur och av vem), att hitta bättre metoder för att se effekterna av kapacitetsutvecklingsinsatser samt att de behöver sättas in i den politiska och ekonomiska kontext där biståndsinsatserna genomförs.

Ian Christoplos

Anna Liljelund

Jessica Rothman

Indevelop AB