Critici zullen zuchtend gereageerd hebben op het nieuws vorige maand dat het Amerikaanse tijdschrift US News met een nieuwe ranking komt van universiteiten wereldwijd. Weer eentje. De kritiek op deze hitlijsten van de universiteiten is niet mals, zij het inmiddels een tikkeltje voorspelbaar. Rankings zouden appels met peren vergelijken, want elk land heeft een eigen hoger onderwijssysteem. Daarnaast bevoordelen ze Engelstalige landen, want alle belangrijke internationale wetenschappelijke tijdschriften zijn Engelstalig. Rijke (Amerikaanse) universiteiten profiteren daarnaast van de mogelijkheid om een hoge notering op de lijst te ‘kopen’ door gelauwerde wetenschappers en Nobelprijswinnaars aan te trekken. De kritiek komt niet zelden van universiteiten die naar hun zin te laag in de ranglijst staan. Maar die vervolgens niet schromen om de vlag uit de steken wanneer ze het bij een volgende ranking plots veel beter doen. Reputatie Toch kan niemand echt om de rankings heen, want de lijsten betekenen business. Voor de uitgevers, maar ook voor universiteiten, aangezien studenten steeds vaker de lijstjes raadplegen voordat ze hun studiekeuze bepalen. ‘Vooral in Azië zijn de universiteiten en studenten zeer competitief’, zegt Wouter Gerritsma van Wageningen UR. ‘De Chinezen die hier studeren, hebben allemaal gekeken waar Wageningen UR staat op de ranglijst. En Aziatische universiteiten bepalen aan de hand van de ranglijs- ten met wie ze willen samenwerken.’ Steeds meer universiteiten doen daarom hun best om goed voor de dag te komen in de universitaire hitlijsten. Zo heeft het bestuur van de Universiteit Maastricht, een verklaard criticus van de rankings, deze maand een ambtelijk team ingesteld om de positie op de ranglijsten te verbeteren. ‘Ze bepalen in toenemende mate de reputatie en zichtbaarheid van de universiteit en bovendien baseren mensen er hun studiekeuze op’, verklaart de kersverse chef Internationale Rankings tegen het Maastrichtse universiteitsblad Observant. Maastricht heeft al maatregelen genomen om de citatiescores op te poetsen. Gerritsma, die voor Wageningen UR de bibliometrische gegevens aanlevert aan de ranking-makers, staat ook ambivalent tegenover de hitlijsten. De ene is volgens hem beter dan de andere. Zo vindt hij de ranking van Times Higher Education beter dan de Shanghai Ranking, omdat de Times ranglijst ook rekening houdt met het onderwijs, internationale samenwerking en contractinkomsten. Wageningen UR staat daarom veel hoger in de Times ranglijst dan in de Shanghai ranking. Sjanghai vertrouwt ook meer dan Times op een reputatiemeting, een cijfer dat alleen langs glibberige weg verkregen kan worden. Reputatie wordt namelijk gemeten via het subjectieve middel van de enquête. Harvard is de beste universiteit ter wereld ‘by reputation’. Daarom staat Harvard altijd bovenaan de rankings waarin reputatie een belangrijk criterium is. ‘Je meet dan niet de kwaliteit, maar in feite de vorige ranking, want mensen laten zich bij hun oordeel beïnvloeden door de eerdere rankings’, zegt Paul Wouters.
Je meet dan niet de kwaliteit, maar in feite de vorige ranking, want mensen laten zich bij hun oordeel beïnvloeden door de eerdere rankings
Paul Wouters
Paul Wouters is directeur van het Centrum voor Wetenschap en Technologie Studies (CWTS) in Leiden, waar hij zich bezig houdt met het meten en analyseren van de wetenschappelijke productie en kwaliteit. Hij is bovendien maker van de enige Nederlandse ranglijst in het rijtje: de Leiden Ranking. Een kenner dus, die weet hoe de ranglijsten tot stand komen. Hoewel? ‘Een van de problemen is het gebrek aan transparantie. Je komt er niet echt achter hoe de belangrijkste rankings tot stand komen. Ik kan de data waarop anderen hun rankings baseren, niet onderzoeken.’ WC-eend Volgens Wouters meten de meest invloedrijke rankings – die van Times Higher Education, Shanghai en QS – niet de kwaliteit van de universiteiten, maar het aantal publicaties van een instelling. Daardoor komen vooral grote en rijke universiteiten bovendrijven, zegt Wouters. Ook waarderen ze papers in Nature en Science hoger dan in andere tijdschriften, weet hij, ‘maar in lang niet alle sectoren zijn dat de belangrijkste tijdschriften. Zo bevoordeel je bèta-onderzoek.’ Daarnaast leunen de invloedrijke rankings op informatie die de universiteiten zelf aanleveren en waarop geen kwaliteitscheck plaatsvindt. Daardoor kunnen de universiteiten gegevens zo presenteren dat ze beter voor de dag komen. Voorbeeld: je kunt promovendi aanmerken als personeel (aio’s), maar ook als studenten (PhD students). Toen de Nederlandse universiteiten, in navolging van het buitenland, de promovendi als studenten gingen opvoeren, stegen ze allemaal in de rankings. De meest invloedrijke rankings zijn dan ook niet de beste rankings, concludeert Wouters. Zelf prefereert hij ranglijsten die slechts één of twee kwaliteitsindicatoren beoordelen, en die niet afhankelijk zijn van enquêtes of gegevens van universiteiten. Dan springt één ranking eruit, vindt Wouters, en dat is de Leiden Ranking. Omdat Wouters ‘toevallig’ zelf de maker is van de Leiden Ranking, beseft hij dat zijn uitspraak een hoog wc-eend- gehalte heeft – ‘wij van wc-eend adviseren wc-eend’. Wouters: ‘Maar “wij van Leiden Ranking” claimen geen uitspraak wie de beste universiteit is, wij maken aan de hand van de Web of Science database een portret van een onderzoeksgroep: hoeveel deze publiceert en hoe vaak ze wordt geciteerd in vergelijking met anderen in dat vakgebied. Daartoe beperken we ons.’
Life science
Maar op welke plaats hoort Wageningen UR nu thuis in de internationale rankings? Omdat Wageningen UR gespecialiseerd is in landbouw, voeding en milieu, moet je kijken naar de ranglijsten op deze deelterreinen, vindt Gerritsma. Zo schommelt Wageningen rond plek twintig op de ranglijst van Times Higher over life sciences universiteiten, en staat ze bij ranglijsten van landbouwuniversiteiten steevast in de mondiale top-3. Gerritsma:‘We publiceren heel veel artikelen op het gebied van plant & animal sciences en environmental sciences, qua omvang staan we op de zesde plaats in de wereld. Dan is het logisch dat we hoog eindigen in zo’n deellijst. Ik kijk vooral hoe goed we het doen ten opzichte van andere sterke landbouw- en life science faculteiten.’ De algemene noteringen op de grote mondiale lijsten zeggen dus weinig, vindt Gerritsma. De Aziaat die milieuwetenschappen wil studeren in Europa, moet weten dat Wageningen in de top-10 van milieuwetenschappen ter wereld staat.
De belangrijkste rankings volgens Wouter Gerritsma
1. T
imesHigherEducation(THE), Engelseranking,invloedrijkencompleet.
2. Shanghai
Ranking,ookwelde AcademicRankingof WorldUniversities(ARWU),debelangrijkste Aziatischeranking.
3. Q
SWorldUniversitiesRanking, Brits,gemaaktdoordevroegeremakervanTHE.
4. The
LeidenRanking,gemaakt doorhetCentrumvoorWetenschapenTechnologieStudies(CWTS)inLeiden.‘Onderzoeksrankingdiealleenpublicatiesencitatiestelt.’
5. US
News& World Report. Nieuw ditjaar.EersteAmerikaanserankingdieookdeniet-Amerikaanseuniversiteitenbeoordeelt.
Illustratie: Henk van Ruitenbeek