Wetenschap - 26 maart 2013

Bullshit-detector voor wetenschappelijk onderzoek

Beleidsondersteunend onderzoek is big business. Maar is al dat academische advieswerk wel wetenschappelijk genoeg? Jarl Kampen ontwikkelde een bullshit-detector om het kaf van het koren te scheiden.





Should I take this seriously? A simple checklist for calling bullshit on policy supporting research heet het artikel dat Kampen (Research Methodology Group) samen met collega Peter Tamás publiceert in Quality and Quantity. Een uitdagende titel voor een wetenschappelijk artikel. Resource vraagt Kampen om uitleg.
Zit hier veel frustratie achter?
'Frustratie is niet het goede woord. Bezorgdheid, betrokkenheid en hoop komen dichter in de buurt. Het is een checklist voor producenten en gebruikers van beleidsrelevant onderzoek, bedoeld om tot haalbare en realistische doelstellingen te komen.'
Er verschijnt kennelijk veel bullshitt-onderzoek. Waarom anders zo'n checklist?
Dit is geen oordeel over het werk van collega's. Dat overzicht heb ik ook niet. Maar vanuit allerlei wetenschappelijke instellingen in Nederland (en ook Vlaanderen) is bezorgdheid over bepaalde praktijken. De KNAW zelf heeft net een rapport uitgebracht over de kwaliteit van sociaal-wetenschappelijk onderzoek. Maar criteria zoals wij die hebben vastgesteld over de kwaliteit van het onderzoek staan daar niet in.'
Wat is de meest gemaakte fout?
'Het gaat vaak al fout bij de onderzoeksvraag. Mensen verwarren het maatschappelijke doel dat ze willen bereiken met het doel van het onderzoek zelf. Je krijgt dan vragen van het type: hoe kunnen we ervoor zorgen dat een exotische paddenstoel het voedsel van de toekomst wordt? Dat is geen kennisvraag. Je kunt onderzoeken hoe de consument tegen die paddenstoel aankijkt. Je kunt onderzoeken wat de voedingswaarde is, etc. Onderzoek moet beleidsmakers en politici informeren., maar het is niet het mandaat van de wetenschapper om zelf politiek te gaan bedrijven. In zekere zin moet een onderzoeker niet geïnteresseerd zijn in het resultaat van het onderzoek.'
Is Quality and Quantity wel het goede podium? Beleidsmakers lezen geen wetenschappelijke tijdschriften.
'Natuurlijk is de checklist in eerste instantie bedoeld voor opdrachtgevers. Maar stiekem is het ook de bedoeling dat de producenten van onderzoek, collega's dus, dit zien. Het zijn stuk voor stuk simpele regels: klopt je onderzoeksvraag;  wat is de kwaliteit van je data, de gebruikte methode en analyse; klopt je conclusie wel en geeft die een antwoord op de gestelde vraag. Maar het moet wel allemaal goed zijn, anders heb je niets aan het onderzoek en is het, om zo te zeggen, bullshit.'
Is de checklist niet gewoon een oproep tot eerlijkheid?
'Wetenschappers moeten eerlijk zijn in wat ze kunnen leveren en wat niet. In feite helpt de checklist om nederig te zijn. De wetenschapper moet bescheidener zijn in het doen van grote uitspraken. De opdrachtgever in wat ze uit dit soort onderzoek kan halen. In feite is slecht uitgevoerd onderzoek slecht voor alle betrokkenen.'

Re:ageer