Wetenschap - 14 september 1995

Citatie-onderzoeker Van Raan over onderzoekskwaliteit

Citatie-onderzoeker Van Raan over onderzoekskwaliteit

De Nederlandse universiteiten willen de kwaliteit van onderzoek laten meewegen bij de verdeling van geld. Ze worstelen met indicatoren als aantallen wetenschappelijke publikaties en maatschappelijke relevantie. De Leidse hoogleraar dr A.F.J. van Raan, nestor van de omstreden citatie-analyses, wil met zijn kwaliteitsmaat de verdelende rechtvaardigheid in Nederland bestrijden. Ook voor de LUW voert hij citatie-analyses uit.


Een luilekkerland was Nederland, meent wetenschapsdynamicus prof. dr A.F.J. van Raan. De eerste geldstroom, het onderzoeksgeld dat de overheid aan de universiteiten geeft, was enorm. Veel groter dan in andere landen. Universiteitsraden en besturen deelden dit geld op hun beurt uit als een Sinterklaas, zonder onderzoekers te beoordelen op hun prestaties.

Van Raan pleit voor een strenger kwaliteitsbeleid. Ik zeg niet: Ontsla iemand als hij middelmatig is", aldus de Leidse hoogleraar. Dat veroorzaakt veel ellende. Maar je moet zo iemand geen materieel en aio's meer geven. Nu zie je dat op faculteiten nog te veel de verdelende rechtvaardigheid heerst. Die verdeelkracht gaat maar door. Jonge mensen komen er zo niet tussen; dat is toch een schande?"

Net als in zijn columns voor NRC neemt Van Raan geen blad voor zijn mond als het gaat om het wetenschapsbeleid. Als fysicus kreeg hij ermee te maken toen hij eind jaren zeventig bij het faculteitsbureau kwam werken. In die tijd deed de overheid met voorwaardelijke financieringsrondes een eerste poging de universiteiten aan te zetten tot kwaliteitsbeleid. Van Raan wilde harde gegevens leveren om beoordelingscommissies, onderhevig aan vooroordelen, belangenverstrengeling, conservatisme en vriendjespolitiek, wakker te houden.

Inmiddels heeft hij met zijn Centrum voor Wetenschaps- en Technologiestudies bibliometrische analyses verricht voor de Leidse universiteit, drie universiteiten in Belgie, de Nederlandse organisatie voor Wetenschappelijk Onderzoek (NWO) en de LUW.

De analyses zijn gebaseerd op citaties, verwijzingen bij een artikel naar andere publikaties. Met de analyses kan de Leidse hoogleraar een kwaliteitsindicator geven: hoe meer een groep binnen een discipline wordt geciteerd, hoe groter de kans dat het een goede groep is. Als bijvoorbeeld Franse chemici in een gerenommeerd tijdschrift Wageningse chemici citeren, was de Wageningse publikatie wellicht voor hen belangrijk.

Het Leidse instituut gebruikt de databestanden van het Institute of Scientific Information (ISI) in Philadelphia, dat de citaties opslaat van 3500 natuurwetenschappelijke en 2000 sociaal-wetenschappelijke tijdschriften. Dit zijn de tijdschriften waarnaar onderzoekers het meest verwijzen.

Wit voetje

Sociaal-wetenschappers hebben vaak gewezen op de valkuilen bij het gebruik van citaties als kwaliteitsmaat. Zo leert het verleden dat redacties echt vernieuwende artikelen nogal eens weigeren, omdat ze tegen de heersende visie in gaan. Onderzoekers verwijzen ook niet altijd naar een artikel omdat het zo goed is, maar omdat ze bij een collega een wit voetje willen halen. Van Raan kent de beperkingen van het systeem. Je moet je nooit baseren op de citatie-analyse van een publikatie of een medewerker. Je moet alleen analyses gebruiken van grotere groepen en over een periode van tenminste acht jaar. Dat is hetzelfde als met natuurkunde: je bestudeert niet een atoom als je iets over atomen wilt weten."

Fundamenteler is de kwestie dat er onder de niet-exacte disciplines veel groepen zijn die niet of nauwelijks publiceren in de tijdschriften die het Amerikaanse instituut selecteerde. Geschiedkundigen en juristen publiceren voornamelijk voor het eigen taalgebied, filosofen publiceren in boeken, technici ontwerpen produkten, teeltwetenschappers en sociologen stellen beleidsplannen op, kunsthistorici schrijven recensies en plantentaxonomen monografieen. Dat wil niet zeggen dat hun publikaties niet ook geciteerd kunnen worden in de Engelstalige ISI-tijdschriften, maar de kans daarop is veel kleiner; ze zitten in een ander circuit.

Door dit verschillende publikatiegedrag is het niet toevallig dat in Nederland de citatie-analyse vrijwel alleen in de exacte disciplines haar weg vindt. De Landbouwuniversiteit heeft in 1993 als eerste een citatie-analyse laten uitvoeren waarin de technische en sociale vakgroepen zijn meegenomen. Inmiddels laat ook de Leidse faculteit Sociale wetenschappen een citatie-analyse uitvoeren door Van Raan.

Sektarisch

Net als de Wageningse hebben de Leidse sociaal-wetenschappers gesputterd. Van Raan: Mijn vraag is dan: Waarom publiceren jullie niet in de ISI-tijdschriften? Waarom zijn jullie zo sektarisch en inteelterig bezig? Dat is toch raar? In jullie vakgebied zijn er toch ook gerenommeerde tijdschriften die op citaties worden gescreend? En dan kan bij peer-review (beoordeling door collega-onderzoekers, red.) natuurlijk blijken dat een groep, hoe ze ook haar best doet, er niet in komt. Bijvoorbeeld omdat het vakgebied heel nieuw is of omdat de studies erg op Europa zijn gericht, terwijl de tijdschriften Amerikaans zijn georienteerd. Oke, in dat geval gebruikt een beoordelingscommissie andere gegevens, zoals prijzen, uitnodigingen voor congressen of gasthoogleraarschappen. Die blijken vaak met citatie-analyses te correleren."

De norm achter citatie-analyse is dat iedere onderzoeksgroep in de ISI-tijdschriften moet zien te komen. Een groep moet in de beste tijdschriften publiceren, waar de ideeen door een internationaal forum worden getoetst. Niet iedereen hoeft dat; maak daar een of twee mensen voor vrij. Onderzoek naar werkeloosheid in Nederland is ook interessant voor onderzoekers naar werkeloosheid in Amerika. Waarom zou je dan niet publiceren in tijdschriften die gescreend worden op citaties? Als een hoogleraar zoiets niet durft, moet hij niet op een universiteit gaan werken. Tenzij hij zegt geen wetenschappelijke pretenties te hebben en alleen onderwijs te willen geven of alleen toegepast onderzoek. Goed, dat zijn taken van de universiteit. Maar dan moet die hoogleraar ook daarop worden beoordeeld."

De beoordeling van maatschappelijk relevant onderzoek is nu een hoofdstuk apart. Van Raan ziet een simpele maat in de hoeveelheid extern gefinancierd onderzoek van een onderzoeksgroep. Als een groep relevant bezig is komen de klanten immers vanzelf langs.

Lastiger is het de kwaliteit te beoordelen van maatschappelijk relevant lange-termijnonderzoek, zoals naar nieuwe, duurzame ontwerpen waarvoor (nog) geen markt is. Van Raan: Je hebt hier geen klanten of collega-onderzoekers die kunnen beoordelen. Dan moet je dus verdomd goed uitkijken dat dit onderzoek geen beuzelaars en flierefluiters aantrekt. Ik denk dat je voor zulk onderzoek alleen mensen moet aantrekken die hun sporen wetenschappelijk of maatschappelijk al hebben verdiend. Er moet nu eenmaal een kwaliteitsmaat zijn."

Hoe op universiteiten de verhouding toegepast en fundamenteel onderzoek moet liggen, is volgens de Leidse hoogleraar een van de normatieve discussies die een universiteitsraad moet voeren. De vaste commissie wetenschap (vcw) van de LUW heeft onlangs voorgesteld alle vakgroepen voor minimaal vijftig procent te beoordelen op wetenschappelijke kwaliteit. Daarbij wordt onder meer gekeken naar het aantal publikaties in ISI- en andere wetenschappelijke tijdschriften en - als het niet te duur is - citatie-analyse. Hoe de commissie de vakgroepen voor de andere vijftig procent gaat beoordelen, is nog niet duidelijk.

Prullenbak

Niet alleen de LUW, maar ook de andere universiteiten worstelen momenteel met het kwaliteitsbeleid. Het model van de Vereniging van Samenwerkende Nederlandse Universiteiten (VSNU), die sinds 1993 per discipline landelijke beoordelingen uitvoert, lijkt het verst uitgewerkt. De onderzoeksgroepen moeten publikaties aanleveren en hun missie aangeven. Voor wie werken ze; hoeveel toegepast en wetenschappelijk onderzoek willen ze doen? Vervolgens becommentarieert een commissie van zoveel mogelijk buitenlanders de gegevens. Citatie-analyses voor de niet-exacte disciplines worden vooralsnog niet gebruikt, omdat de voordelen volgens de VSNU niet opwegen tegen de kosten.

Faculteiten zijn vrij om de VSNU-beoordelingen in de prullenbak te gooien. Maar de Universiteit Twente is van plan haar tien faculteiten aan te sporen ze serieus te nemen, geeft een woordvoerder aan. Het bestuur gaat extra geld geven aan faculteiten die de VSNU-beoordeling meenemen bij de verdeling van aio's en materieel over hun hoogleraren. Ook de TU Delft gaat de VSNU-beoordeling meenemen. De universiteitsraad wil in zijn pas aangenomen verdelingsmodel, waarvoor onder meer publikaties en octrooi-aanvragen worden geteld, ook een kwaliteitsfactor invoeren.

Zal het nu beter gaan met het kwaliteitsbeleid aan de Nederlandse universiteiten? Van Raan: De VSNU-beoordeling is prima. Heel on-Nederlands eigenlijk, om zo duidelijk punten te geven aan onderzoeksgroepen. Dat moeten we veel meer doen. Hardop zeggen wie de besten zijn."

Universiteiten moeten vervolgens ook rigoreus de middelen daarop aanpassen", vervolgt hij. En de vraag is of de huidige bestuursstructuur dat aankan. De raden zijn vaak zo ingesteld dat ze alleen nog deelbelangen bevorderen. Mensen roepen al gauw: We doen toch ons best. En dat is iets waar je in Nederland al gauw de zakdoeken voor op tafel krijgt. Maar dat vind ik niet voldoende voor een universiteit."

Natuurlijk, kwaliteitsbeoordeling kan leiden tot een publish or perish cultuur die niet goed is. Elke menselijke eigenschap heeft haar perverse kanten, wat voor mooie dingen je ook bedenkt. Maar je zit er met z'n allen bij om dat te voorkomen. De democratie op de universiteiten is ook zo'n voorbeeld van iets dat tragisch genoeg tot perversiteit is geworden. Een democratische raad moet de normen vaststellen. Vervolgens moeten er besturen zijn die beslissingen kunnen nemen over de verdeling van middelen. Waarover dan geen discussie meer is."

Re:ageer