Organisatie - 7 februari 2008

‘Geldschieters derde wereld staren zich blind op cijfers’

Er gaan miljarden om in het monitoren van het succes van ontwikkelingsprojecten. Maar veel van dat geld gaat op aan een poging iets te meten wat niet te meten is, stelt promovendus Irene Guijt. Donoren moeten volgens haar meer open staan voor verrassingen, in plaats van harde cijfers te willen over de resultaten van ontwikkelingsprojecten.

114_achtergrond0.jpg
Het is nuttig om te leren van je fouten. En je wilt ook weten of wat je doet wel zin heeft. Dat zijn in een notendop twee belangrijke redenen om in de gaten te houden hoe een ontwikkelingsproject verloopt. Dat heet monitoring en evaluatie, en is een business op zich. Tussen de vijf en tien procent van de budgetten voor ontwikkelingssamenwerking – wereldwijd honderd miljard dollar – gaat eraan op.
Slechts een heel klein deel van al dat geld wordt echter nuttig besteed, denkt communicatiewetenschapper dr. Irene Guijt. Een groot deel wordt gestoken in evaluaties die weinig veranderen aan de praktijk. Of in monitoring die aantoont dat er íets gebeurt, maar niet wát of waarom.
Guijt werkt al een kleine twintig jaar in de ontwikkelingssamenwerking, vooral aan participatie bij projecten voor plattelandsontwikkeling en beheer van natuurlijke hulpbronnen. Daarnaast werkt ze sinds 1999 aan het onderzoek waar ze 30 januari op promoveerde.

Complexe processen
Donoren willen steeds preciezer weten waar hun geld blijft. Door die nadruk op het afleggen van verantwoording stellen ontwikkelingsorganisaties indicatoren op om te meten of de gestelde doelen worden gehaald. In jargon heet dat SMART: specifiek, meetbaar, acceptabel, realistisch en tijdgebonden. Gevolg is een stortvloed van niet zelden dubieuze feiten en cijfers, zegt Guijt.
Nog een populaire term is evidence based-beleid. Beleidsmakers en donoren willen beleid dat gebaseerd is op bewezen successen elders. Alle donoren, vertelt Guijt, eisen daarom zogenaamde impactevaluaties. Voert een organisatie een project uit in een bepaald dorp, dan kan de donor vragen om het effect daarvan aan te tonen door ook de situatie in een naburig dorp in beeld te brengen, waar geen interventie was. Wordt er een positief effect aangetoond, dan concludeert de donor dat de aanpak goed was en dat die ook elders toegepast kan worden.
Daar krijgt Guijt kippenvel van. ‘Deze aanpak kan werken als het om een simpel doel gaat, maar niet als het om complexe processen gaat’, zegt Guijt. Om het verschil aan te geven noemt ze drie voorbeelden. ‘Een taart bakken is een simpele opgave. Er is een recept voor en het is al heel vaak gedaan. Het kan misgaan, maar het aantal oorzaken daarvoor is redelijk beperkt. Een raket naar de maan sturen is al een stuk ingewikkelder. Er zijn veel meer variabelen in het spel, en het is nog niet zo vaak gedaan. Maar echt complex is het opvoeden van kinderen. Het is een unieke situatie waarin heel veel onvoorspelbare en onmeetbare factoren een rol spelen, en waaruit nauwelijks algemene lessen te trekken zijn die in een ander geval weer toepasbaar zijn.’
In de ontwikkelingssamenwerking hadden vroeger veel projecten een relatief simpele doelstelling zoals putten slaan, een school bouwen of mensen inenten tegen mazelen. Maar tegenwoordig zijn projecten vaak complexer. De doelen zijn bijvoorbeeld democratisering, regionale plattelandsontwikkeling of de emancipatie van homo’s in Guatemala-stad. Dat vereist verandering van cultuur, gedrag en instituties, betoogt Guijt. Toch is de monitoring van ontwikkelingsprojecten volgens haar nog gebaseerd op de projecten in oude stijl. En die is steeds minder nuttig voor de huidige ontwikkelingssamenwerking.

Aannames
In de protocollen die wereldwijd gebruikt worden voor evaluaties wordt een aantal aannames gemaakt, bleek uit de studie van Guijt. Ze keek onder andere naar 33 projecten van het International Fund for Agricultural Development. ‘De belangrijkste aanname is dat er een lineaire relatie is tussen oorzaak en gevolg, dus dat aangegeven kan worden waardoor dingen misgaan’, zegt Guijt. ‘Maar als het gaat om verandering van waarden, normen, wetgeving, kennis of machtsrelaties dan spelen er vaak verschillende langetermijnprocessen zonder garantie van resultaten.’
Een andere aanname is dat er twee partijen zijn die een contract met elkaar gesloten hebben, waardoor de financier eisen kan stellen aan de ontwikkelingsorganisatie. In werkelijkheid opereren ngo’s volgens Guijt veel meer in een los netwerk waarin resultaten niet aan één organisatie toegeschreven kunnen worden.
Nog een aanname in de gangbare monitoring is dat alles meetbaar is, als je er maar in slaagt om een goede indicator op te stellen. Guijt: ‘Dat gaat er van uit dat het geheel op te delen is in brokjes werkelijkheid die kenbaar en meetbaar zijn, en dat die brokjes werkelijkheid iets zeggen over het totaal.’
Je moet geen geld verspillen aan het meten van het onmeetbare, zegt Guijt. Als het gaat om echt ingewikkelde zaken leer je meer van een discussie met mensen die bij het project betrokken zijn, dan van ‘objectieve’ indicatoren. ‘Het leuke is dus dat goede monitoring van complexe processen helemaal niet saai en muffig is, maar dat het gaat over discussie en debat tussen doelgroep, uitvoerders en donoren van een project.’
Toch is ook een participatieve aanpak niet het ei van Columbus. Guijt was jarenlang betrokken bij projecten in Brazilië waarin kleinschalige boeren en hun organisaties betrokken werden bij de evaluaties. ‘Veel van de aannames in de gangbare monitoring worden overgenomen in de participatieve variant. En het samen ontwerpen en uitvoeren van zo’n proces kan ongelijkheid tussen de partijen maskeren.’
Guijt concludeert dat de aanpak van monitoring niet overal hetzelfde moet zijn, maar afhankelijk moet zijn van het doel dat je wilt bereiken. ‘Als je doel is verantwoording af te leggen aan financiers, dan hoeft de monitoring misschien niet erg participatief te zijn. Maar als je wilt leren hoe een proces van democratisering ondersteund kan worden, kun je beter een goed gesprek voeren dan achter een tabel met cijfers aanhollen.’
Wie meer van evaluaties wil leren moet volgens Guijt op zoek naar verrassingen. ‘Juist het onverwachte is leerzaam, en daar kom je niet achter als je alleen maar van tevoren opgestelde indicatoren bekijkt.’ Een andere conclusie van Guijt is dat we ons er bij moeten neerleggen dat er voor sommige situaties geen lessen kunnen worden getrokken uit andere situaties. ‘Helaas pindakaas: wat heeft gewerkt voor een complex probleem op één plek, is zeker niet als kant-en-klaarpakketje elders toepasbaar.’

Goed verhaal
Dit betekent dat donoren soms tevreden moeten zijn met een verhaal in plaats van met harde cijfers. Ngo’s erkennen dat volgens Guijt ook steeds vaker. En het Nederlandse ministerie van buitenlandse zaken wil van ngo’s evaluaties waarbij het om verantwoording én leren gaat. Toch gebruikt de Inspectie Ontwikkelingssamenwerking en Beleidsevaluatie (IOB) van het ministerie nog monitoringprotocollen die in de ogen van Guijt gebaseerd zijn op verouderde aannames. Het gebruik van indicatoren is daar nog heilig.
Dr. Otto Hospes van de leerstoelgroep Recht en bestuur van Wageningen Universiteit werkte tot april 2007 voor de IOB. ‘Het afleggen van verantwoording blijft inderdaad belangrijk. Dat is ook begrijpelijk, want de rapporten van IOB worden aan de Tweede Kamer aangeboden, en die wil weten wat het effect is van beleid. Als je monitort voor een ngo, kan de nadruk meer op leren liggen.’
Hospes ziet een slingerbeweging in de geschiedenis van de monitoring. ‘In de naoorlogse ontwikkelingssamenwerking tot de jaren negentig was het afleggen van verantwoording niet zo belangrijk. Er werd gezegd dat alles contextafhankelijk is en dat resultaten niet simpelweg toe te schrijven zijn aan projecten. Daarna is de trend richting resultaatgericht monitoren begonnen, en die is nu inderdaad doorgeschoten. Maar ik vind niet dat we terug moeten naar de tijd waarin we de uitvoerders van projecten op hun blauwe ogen moesten geloven. De kunst is om indicatoren te zoeken die in een bepaalde context zinvol zijn. Bijvoorbeeld het geven van voedsel aan honden. Dat was in ruraal Tanzania een teken van welvaart.’
Guijt is niet tegen het afleggen van verantwoording. ‘Maar de monitoring die voor dát doel wordt uitgevoerd, is niet altijd geschikt om te leren van fouten uit het verleden. Bovendien is het niet altijd mogelijk om verantwoording af te leggen via het meten van resultaten. Toch zijn er maar weinig organisaties in Nederland die durven zeggen: sorry, wat wij doen is niet met indicatoren meetbaar, maar we hebben er wel een goed verhaal over.’

Dr. Irene Guijt promoveerde op woensdag 30 januari 2008 bij prof. Niels Röling, emeritus hoogleraar Landbouwkennissystemen in ontwikkelinglanden

Re:ageer