Werkt onze ontwikkelingshulp? Leiden al die projecten tot meer ontwikkeling en minder honger en armoede? Die vraag wordt steeds actueler naarmate de druk op de ontwikkelingsbudgetten groeit. Volgens ontwikkelingseconoom Erwin Bulte is het daarom tijd om het resultaat van ontwikkelingshulp niet meer te meten met de natte vinger, maar er een gedegen wetenschappelijk aanpak op los te laten. Bulte ontwikkelde daartoe een nieuwe methode, geïnspireerd door een onderzoeksaanpak voor medicijnen, die bekend staat onder de naam randomised controlled trials. Daarbij bepaalt de dobbelsteen welke patiënten het medicijn krijgen, of in dit geval: welke Afrikaanse dorpen mogen deelnemen aan een ontwikkelingsproject. Na enkele jaren meet Bulte dan of de dorpen met project beter af zijn dan de dorpen zonder hulp.
In de wereld van de ontwikkelingshulp is Bulte’s aanpak nieuw. In het verleden bedachten hulporganisaties en donoren van tevoren wat goed is voor de Afrikaanse boeren. Evaluatie en onderzoek vond pas plaats na afloop van het project. Maar zo’n evaluatie is lastig, zegt Bulte, omdat de selectie van boeren in het project (zijn ze ondernemend of niet, wonen ze dicht bij de weg?) de uitkomst beïnvloedt. Bovendien weet je niet hoe het de boerengemeenschap vergaan zou zijn zónder de hulp. Door de boeren willekeurig te kiezen en expliciet in het project op te nemen dat je boeren met en zonder ‘medicijn’ onderzoekt, kun je de impact daarvan veel nauwkeuriger meten, stelt Bulte.
Dat klinkt logisch, maar er klinkt ook kritiek op de Wageningse aanpak. Sommige ngo’s vinden de nieuwe methode onethisch. Bulte behandelt de Afrikaanse bevolking als proefpersonen, vinden ze, zoals plantenwetenschappers tests uitvoeren met kroppen sla. Hij onthoudt een deel van de bevolking welbewust hulp. De Wageningse wetenschapper is het met die kritiek niet eens. ‘Er worden in projecten altijd mensen geselecteerd omdat de budgetten beperkt zijn’, reageert hij. ‘Meestal bepalen politieke motieven die keuze, bij ons bepaalt de dobbelsteen het. Wat is eerlijker?’
De strijkstok van de chief
In de wetenschappelijke wereld krijgt Bulte de handen in elk geval wel op elkaar. In 2011 kreeg hij anderhalf miljoen euro van NWO om uit te zoeken welke ‘instituties’ (organisaties en regeltjes) bijdragen aan landbouwontwikkeling in Afrika. Daarbij gaat hij ook andere onconventionele onderzoeksmethoden niet uit de weg. Zo startte hij een project om het verband tussen corruptie en landbouwontwikkeling na te gaan. Samen met promovendus Gonne Beekman deelde hij landbouwzaden en kunstmest uit in verschillende dorpen in Liberia. Met een smoesje stalde hij de hulppakketten enkele dagen in de hut van de lokale chiefs. Daarna bekeek hij welke hulpgoederen waren verdwenen, een maat voor de corruptie van de chief. Ook registreerde hij de investeringen van boeren in hun bedrijf, en ging hij via een spelletje na hoeveel geld de dorpsbewoners wilden investeren. ‘Daar kwam een heel duidelijke conclusie uit. In dorpen waar de chief corrupt is, investeren de dorpsbewoners veel minder. Ze vrezen dat de chief een deel van hun investeringen gaat afromen.’ Deze conclusie was koren op de molen van de internationale donoren, die de corrupte lokale bestuurders in de ban hebben gedaan en tegenwoordig gaan voor community driven development, waarbij de dorpsraad een project mag managen. De afgelopen jaren zijn er vele miljarden dollars naar dergelijke projecten gegaan. Maar Bulte zet ook daar dikke vraagtekens bij. ‘Uit studies blijkt dat de impact van dit soort projecten 0,0 is’, zegt hij.
Een verklaring voor het mislukken van die communityprojecten biedt het onderzoek van Maarten Voors, postdoc bij Bulte. In Sierra Leone werkten Voors en Bulte samen met een ngo die dorpen projectgeld aanbiedt als ze vogels in het naburige bos gaan beschermen. De dorpen bepalen zelf of ze met het verdiende geld een latrine, droogvloer of gemeenschapsruimte maken. Voors koos de dorpen ad random, waarbij het ontwikkelingsgeld afwisselend via de chief of een council van enkele dorpelingen loopt. Na afloop bleek dat er weliswaar iets meer geld bij de chiefs aan de strijkstok blijft plakken, maar ook dat de chief zijn project wél van de grond krijgt. Bij de chief komen het toilet en de droogvloer er, terwijl de lokale council dat vaak niet voor elkaar krijgt. Het organisatievermogen van de chief is groter, verklaart Voors. En hoe machtiger hij is, hoe meer hij het project van de dorpsgemeenschap tegenwerkt, zodat dat bottom-up project niet van de grond komt.
Gedragsspelletjes
Een vervolgproject moet meer duidelijkheid geven over die beslissingsdynamiek Bulte: ‘Je hebt eigenlijk drie regelsystemen in de dorpen. Je hebt de formele regels uit de hoofdstad, die vaak nauwelijks een rol spelen in de veraf gelegen dorpen. Daarnaast heb je het traditionele regelsysteem van de chief en de vernieuwingen van ngo’s en Wereldbank, met de nadruk op empowerment en participatie van dorpelingen. Met een experiment in ruim honderd dorpen, bekijken we welk regelsysteem door de mensen wordt gebruikt. Beklijven pogingen om op lokaal niveau zaken te veranderen en onder welke voorwaarden slaagt het project?’
Ook bij zulke projecten wordt met controlegroepen gewerkt die geen hulp krijgen. Zo onderzocht promovendus Haki Pamuk in een aantal Afrikaanse landen de rol van innovatieplatforms bij het verbeteren van de voedselzekerheid. In zo’n innovatieplatform overleggen boeren, overheid, leveranciers en afnemers in de voedselketen met elkaar. In een willekeurig deel van de dorpen was zo’n platform opgericht, in een ander deel niet – dat was de controlegroep. In beide type dorpen ging de promovendus meten hoeveel bewoners onder de armoedegrens leefden. ‘Je ziet een grote variatie aan succes, maar gemiddeld genomen hebben de innovatieplatforms effect. In dorpen met zo’n platform heb je na een paar jaar 13 tot 20 procent minder arme mensen.’
Het uitvoeren van veldonderzoek met randomised controlled trails en gedragsspelletjes is inmiddels hot bij donoren als de Wereldbank en geaccepteerd bij ontwikkelingsorganisaties. ‘De ngo’s waren in het begin gereserveerd’, zegt de ontwikkelingseconoom, ‘maar ze moeten de impact van hun projecten laten zien. Die impact is heel lastig aan te tonen, want ontwikkeling is complex en alles hangt met alles samen. Door een project vorm te geven als experiment, met een controlegroep, kun je de bias van de onderzoekers of de wensdromen van donoren er uit halen. Wij weten niet wat goed is voor de Afrikaanse bevolking, wij onderzoeken dat juist. Daarom levert deze aanpak meer kennis op over welke projecten helpen en welke niet.’
Foto: Ben Schaap