Go to main navigation

Debatt

"Sida brister i sin biståndsutvärdering"

Expertgruppen för biståndsanalys (EBA) anser att en av de viktigaste metoderna för att mäta effekter av biståndsfinansierade utvecklingsprojekt används för lite i Sverige. Denna brist inom biståndsutvärdering måste åtgärdas, menar rapportförfattaren Anders Olofsgård och EBA-ledamoten Jakob Svensson.

Utvärdering av offentlig verksamhet har diskuterats flitigt på senare tid. En del ser utvärderingar som nyckeln till effektiv resultatstyrning och begränsning av korruption och svinn, andra ser dem som tidskrävande byråkrati som tar resurser från kärnverksamhet och hämmar kreativitet och arbetsglädje.

Effektivitet och resultat diskuteras som bekant ofta inom biståndet – som dessutom producerar många utvärderingar. Frågan är dock vilken kvalitet dessa håller. Granskningar som gjorts på senare år av utvärderingsverksamheten på Sida och tidigare SADEV visar betydande kvalitetsbrister. Detta oroar, eftersom regeringen har en uttalad ambition att styra biståndet efter resultat. För att resultatstyrningen ska ge ett effektivare bistånd krävs att bedömningarna av vad som ger resultat är tillförlitliga och fokuserar på rätt saker. Det är alltså inte bara viktigt att utvärderingar görs, de bästa tillgängliga metoderna måste också användas och resultaten utnyttjas som beslutsunderlag för framtida verksamhet.

Under det senaste dryga decenniet har det skett en explosion av metodutveckling och tillämpningar av effektutvärderingar inom utvecklingsekonomisk forskning. En mycket viktig metod med utbredd internationell användning är randomiserade effektutvärderingar, som på samma sätt som vid studier av läkemedel använder sig av gruppindelningar i behandlade och icke-behandlade grupper. Styrkan i sådana utvärderingar ligger framförallt i att de säkerställer att resultaten speglar en kausal påverkan av ett projekt eller program.  Inom svenskt bistånd används metoden knappt alls. Sida har ännu inte finansierat någon randomiserad effektutvärdering av något av sina egna projekt eller program.

I en rapport till Expertgruppen för Biståndsanalys (EBA) som lanseras nu diskuteras tillämpningen av randomiserade effektutvärderingar inom biståndet. I den betonas att randomiserade experiment under rätta omständigheter är den bästa metod som finns tillgänglig för effektutvärdering och att den kan hjälpa beslutsfattare att styra resurser så att biståndet får reell effekt. Slutsatsen är att randomiserade effektutvärderingar absolut bör vara en del av Sidas utvärderingsportfölj.

Om denna metod användes mer skulle det stärka Sveriges trovärdighet som en seriös och ledande partner inom internationell biståndspolitik. Metoden definierar också tydligt vad målen med en insats är och hur måluppfyllelse förväntas mätas redan från början. Därmed kan vanliga fallgropar inom biståndsverksamhet undvikas, som oklara mål och förväntade effekter som inte kan mätas.

Vad kan då konkret göras för att det svenska biståndet ska bli mer evidensbaserat? För det första kan akademisk och praktisk kunskap från utförda effektutvärderingar användas mer systematiskt i styrningen av biståndet. Detta kräver att personal som beslutar om finansiering av interventioner vet hur man bedömer tillförlitligheten och begränsningarna i olika utvärderingsmetoder, vilket kan kräva fortbildning och rådgivning från personal specialiserad på utvärderingsfrågor.

För det andra bör kompetensen att upphandla rigorösa effektutvärderingar hos Sida stärkas.

För det tredje bör samordning med partnerländer och partnerorganisationer ske ifråga när metoden är lämplig och vad den kräver av olika parter. Det bör också gå att kombinera direkt biståndsverksamhet med utvecklandet av en resursbas för effektutvärdering i mottagarländerna.

EBA vill med denna rapport lyfta betydelsen av kvalitet i biståndsutvärderingar. I vilken mån det kan leda till faktiska förändringar i Sidas arbetssätt beror på viljan och ambitionen hos ansvariga på UD och Sida. Officiell retorik har länge efterlyst mätbara resultat. Att följa våra rekommendationer vore ett konkret steg i den riktningen.

Anders Olofsgård, docent SITE, Handelshögskolan i Stockholm och rapportförfattare till EBA-rapporten ”Randomized Controlled Trials: Strengths, Weaknesses and Policy Relevance”

Jakob Svensson, professor IIES, Stockholms universitet och ledamot av EBA

Tip a Friend heading