Maarke Roelofs

Op de boekenplank van… Gert Doekes

Hoe leer je studenten kritisch om te gaan met informatie uit wetenschappelijke en niet-wetenschappelijke bronnen? Zich niet te beperken tot het samenvatten van fragmenten van websites, of, in het gunstiger geval, review-artikelen van op het oog gezaghebbende auteurs en organisaties, maar zo veel mogelijk op zoek te gaan naar de achterliggende ‘harde’ data? En zelf al logisch redenerend nagaan, of je op grond van die gegevens tot dezelfde conclusies zou zijn gekomen? Kortom: hoe kweek je een kritische houding bij het lezen en verwerken van informatie met betrekking tot resultaten van wetenschappelijk onderzoek?

Deze vraag, waarmee ik jaarlijks wordt geconfronteerd in onder andere projectonderwijs voor biomedische studenten – en door veel collega-docenten zal worden herkend -, vormt een belangrijke reden waarom ik hier graag “Bad Science” van de Britse arts en onderzoeksjournalist/publicist Ben Goldacre ter sprake breng. Het boek is intussen al 6 jaar oud, maar nog volop actueel, en zal dat voorlopig wel blijven, gezien de hoge frequentie waarmee van alles wat er in en rond wetenschappelijk onderzoek fout kan gaan het nieuws haalt.

Hoofdthema is wat mij betreft de in brede kring voorkomende ‘goedgelovigheid’, vooral met betrekking tot claims en uitspraken over wat goed of slecht voor de gezondheid zou zijn, nieuwe veelbelovende “doorbraken” in onderzoek met betrekking tot therapieën, en opzienbarende effecten van nieuwe ‘wonderpillen’. Vaak afkomstig van in de media als “gezaghebbende wetenschappers” gepresenteerde, of zichzelf als zodanig aanprijzende “deskundigen”. In sommige van de door Goldacre beschreven ‘cases’ blijkt het om regelrechte charlatans of fraudeurs te gaan, en bij die hoofdstukken zal menig academicus wellicht op veilige afstand meewarig het hoofd schudden bij het zien van zoveel domheid en kortzichtigheid, dan wel zich vooral ergeren over de mogelijke schade aan de volksgezondheid en de maatschappij die het gevolg kan zijn van deze overduidelijke ‘bad science’ dan wel ‘pseudo-science’.

Interessanter zijn echter de hoofdstukken waarin de auteur laat zien dat de grenslijn met ‘gevestigde’ wetenschap helemaal niet zo scherp is – zoals wanneer op grond van een op zich plausibele fysiologische theorievergaand geëxtrapoleerd wordt en conclusies worden getrokken met betrekking tot preventie en behandeling van ziekten, zonder dat de claims in gedegen populatie-onderzoek zijn getoetst. In veel gevallen gebeurt dit ook niet zonder dat er forse commerciële belangen in het geding zijn, zoals van verkopers van vitaminepillen en dieet-‘goeroes’ die in talkshows en andere TV programma’s gratis advertentietijd krijgen voor hun boeken. Goldacre laat echter ook overtuigend zien hoe in de marketing van geneesmiddelen uit het ‘conventionele’ circuit dezelfde elementen veelvuldig zijn terug te vinden: van extrapolatie van incidentele lab-resultaten tot zeer selectief rapporteren (“cherry picking”) van incidentele positieve bevindingen, en systematisch weglaten van minder welgevallige uitkomsten, een onderwerp dat in het zijn later verschenen “Bad Pharma” nog veel verder is uitgewerkt. De auteur breekt dan ook bij herhaling een lans voor “evidence-based medicine”, dat hij omschrijft als “the ultimate applied science, which contains some of the most cleverest ideas from the past two centuries, it has saved millions of lives, but there has never been a single exhibit on the subject in London’s Science Museum”.

Het op een voetstuk zetten en klakkeloos napraten van ‘deskundigen’ met een spectaculaire boodschap, zonder dat die aan een kritische analyse wordt onderworpen, is het centrale thema in de hoofdstukken waar de rol van de media aan bod komt. Wat leren wij studenten in dit opzicht? Hun werk goed voor het voetlicht brengen, ook voor een breder publiek, is natuurlijk een essentiële vaardigheid die veel studenten tijdens de opleiding moeten leren. De publiciteit zoeken met te veel versimpelde opgeklopte verhalen is echter een ander uiterste, en Goldacre laat zien hoe een gebrek aan terughoudendheid rond een opzienbarende bevinding grote en zeer nadelige maatschappelijke gevolgen kan hebben.

Los van selectieve media-aandacht – al dan niet gevoed door versimpelde of opgeklopte universitaire persberichten – is het ‘gewone’ onderzoeks- en publicatieproces toch al bijzonder gevoelig voor ‘publicatie-bias’. Het fenomeen is intussen welbekend en uitgebreid besproken in de medische literatuur, en wordt door Goldacre vooral behandeld als een van de manieren waarop de werking van nieuwe middelen vaak mooier wordt voorgesteld dan hij is. Via registers voor clinical trials – met aanmeldingsplicht bij de start van het onderzoek, inclusief de te volgen protocollen en methodologie – zou dit zo veel mogelijk moeten worden tegengegaan. En door meta-analyses van populatie-studies kan systematisch worden nagegaan in hoeverre rond een bepaald onderwerp publicatie-bias aannemelijk is – zoals ook helder en vakkundig voor een breed publiek uitgelegd in het boek. Ook in geneesmiddelenonderzoek komt het fenomeen nog veelvuldig voor, en er is reden om aan te nemen dat het daarbuiten nog veel meer het geval is. Dit is onderzoekers maar gedeeltelijk aan te rekenen: ook tijdschriften, en juist de “high impact” journals, hebben een sterke neiging om aangeboden artikelen allereerst op hoge nieuwswaarde te schiften, en rapportage van negatieve bevindingen, ook al komen ze uit zeer gedegen uitgevoerde studies, wordt zelden als zodanig gezien. Maar worden studenten niet vaak al zo opgeleid – met een focus op opzienbarende nieuwe bevindingen met sterk significante p-waarden, en een zeker dedain voor ‘saai’ hypothese-toetsend onderzoek? Met andere woorden: is het door Goldacre terecht zo gehekelde ‘cherry-picking’ niet al veel te veel ingebakken in de houding waarmee niet alleen de media en het grote publiek, maar ook onderzoekers zelf tegen hun werk en de resultaten daarvan aankijken? “Bad Science” laat zien dat enige zelfreflectie rond dit onderwerp geen kwaad kan – en wat mij betreft strekt die zich ook uit tot wat studenten wordt aangeleerd tijdens een opleiding tot onderzoeker: het besef dat goed uitgevoerde studies met ‘negatieve’ bevindingen, dwz. resultaten die onze hypotheses niet bevestigen, ondanks een matige nieuwswaarde, niet zijn ‘mislukt’, maar een bron van belangrijke harde conclusies vormen.

Gert Doekes is als onderzoeker en universitair docent verbonden aan het Institute for Risk Assessment Sciences van de faculteit diergeneeskunde en geeft les binnen onder ander de opleiding Biomedische Wetenschappen en het Toxicology and Environmental Health masterprogramma.

Maarke Roelofs