“Vikten av utvärdering av resultaten från offentliga verksamheter betonas alltmer samtidigt som forskningen om biståndutvärdering har varit ett av de fält inom nationalekonomi som utvecklats mest. Paradoxalt nog har kapaciteten att genomföra utvärderingar inom svenskt bistånd parallellt med detta blivit sämre på grund av omstruktureringar på Sida och UD samt SADEVs tillkortakommande. En förstärkning av utvärderingskapaciteten är alltså om möjligt är mer angelägen idag än när SADEV startades.”
Hur ska framtidens biståndsutvärdering utformas?
- Relaterat material: Rapport: "Styrning av svensk biståndspolitik - En utvärdering" (2012)Anders Olofsgård mfl; Biståndsdebatten.se
31 augusti, 2012
Gamarna flockas över ett sargat Sadev
Sadevs tillkortakommanden tas för givna av Roine och Olofsgård. Likaså att Sadev förväntas läggas ner. Detta är en olycklig utgångspunkt. Regeringsbeslut är ännu inte fattat. De tillkortakommanden som tillskrivits Sadev måste nyanseras och kan på flera punkter ifrågasättas. Inom Sadev har vi förvisso brottats med problem – både interna och externt. Dessa har skärpts sedan årsskiftet till största delen beroende på en icke fungerande myndighetsledning. Huruvida Roine som ledamot i insynsrådet fått bilden klar för sig är oklart eftersom det är generaldirektörens uppfattning om sakernas tillstånd som förmedlas vid dessa möten, vars protokoll dessutom är mycket kortfattade.
Till viss del accepterar jag Roines och Olofsgårds framåtsyftande diskussion om behovet av mer utvärdering av biståndets effekter på mottagarnivå. Insikten av vad det innebär i termer av ”före och efter” och tidig integration i projekt/programdesign likaså. Detta innebär naturligen att man jobbar i utvärderingsprojekt som är mångåriga; över två, tre eller kanske fem år och längre. Men metodproblemen ska inte underskattas – hur säkerställa attribution och extern validitet i en komplex och föränderlig kontext? Eller som det uttryckas av Vedung, 2009: ”Generellt sett är effektproblemet utomordentligt svårlöst, i offentlig politik rentav olösbart.”
Problemet är och har varit att vare sig nuvarande ledning eller Sadevs uppdragsgivare inom regeringskansliet till fullo insett detta. Än mindre dimensionerat Sadev utifrån detta. Sadevs uppdrag, som under de första åren inkluderade forskning, har begränsats till att genomföra utvärderingar i avsikt att öka leveranstakten. Det har varit viktigare att leverera många utvärderingsrapporter än att leverera rapporter med hög kvalitet med fokus på (slut)resultat och effekter. Detta har understrukits genom ett kontinuerligt flöde av regeringsuppdrag formulerade ex post och med tämligen korta deadlines. Som utvärderare har vi tvingats tänka och arbeta utifrån de förutsättningarna. Och – handen på hjärtat – är det verkligen ointressant eller irrelevant att utvärdera processer och intern effektivitet i det mångdimensionella svenska utvecklingssamarbetet? Just med tanke på effekterna på mottagarnivå torde talesättet att ”ingen kedja är starkare än sin svagaste länk” vara högst relevant.
För kritiska akademiker som Roine och Olofsgård borde ett kategoriskt omdöme från Sadevs utvärderingsobjekt (UD) om att Sadevs utvärderingar är irrelevanta och av låg kvalitet stämma till eftertanke istället för okritisk upprepning. Referenserna till Statskontoret är i och för sig korrekta, men även Statskontorets slutomdöme (som upprepas av UD; nu även av Roine/Olofsgård) måste ifrågasättas.
De synpunkter som man ändå kan ha på Sadevs utvärderingar är främst en funktion av en svag intern ledning och en otydlig och inkonsekvent extern styrning från UD och regeringskansliet. Detta har jag och andra i personalen försökt föra fram på olika sätt. Som fackliga företrädare begärde jag och kollegan från Saco enskilt samtal med statssekreteraren i början av juni. Men det hade hon inget intresse av.
Sadevs rykte har naturligtvis skadats av såväl Statskontorets som UD:s utspel. Problemet är att Sadev aldrig givits rätt förutsättningar för sin verksamhet. Detta kan man åtgärda. Vi hävdar att det finns god potential för positiv omstart av Sadev i Karlstad. Kompetens och erfarenhet finns. Men fortsatt utveckling förutsätter också en stark, tydlig och konsekvent intern ledning; och en lika tydlig och konsekvent styrning från regeringskansliet. Sadev har också alltsedan start varit kraftigt underdimensionerat – vilket också framgår av den av Roine/Olofsgård refererade utredningen av Molander. Att vi har 25 mil i vardera riktningen till forskarmiljöerna i Stockholm och Göteborg är ett försumbart problem. Utmaningen ligger snarast i de hundratals milen till samarbetsländer på andra kontinenter.
Det är beklagligt att de svåra och personrelaterade frågorna rörande Sadevs ledning aldrig lyfts av de externa granskarna och regeringskansliet. Inte heller av Roine/Olofsgård. Personalen och dess samlade erfarenhet riskerar bli ett bondeoffer på resultat – och effektivitetsretorikens altare.
Och nu fylkas gamarna kring ett sargat Sadev.
/Agne Sandberg, utvärderare och förtroendevald representant för ST –Sadev/