VVOJ2004: Wetenschap onder de microscoop

VVOJ Conferentie 2004
Titel: Ook wetenschappers eten andermans brood
Workshop: Wetenschap onder de microscoop
Sprekers: Kim De Rijck (De Standaard) en Karel Knip (NRC Handelsblad)
Voorzitter: Michel Simons (Wereldomroep)
Datum en tijd: Zaterdag 20 november, 16.00 – 17.15 uur
Verslaggever: Anton Duisterwinkel (wetenschapsjournalist)

De canards waren niet van de lucht tijdens de sessie over wetenschapsjournalistiek. Karel Knip (NRC Handelsblad) liet meer dan dertig voorbeelden zien van pseudo-wetenschap in de media, op een achternamiddag verzameld. Van het AIDS-medicijn van Buck tot de hbo-student die een eeuwenoud wiskundeprobleem zou hebben gekraakt. Ook Kim De Rijck (De Standaard) produceerde met gemak enkele recente voorbeelden. Hoe dat te voorkomen? En belangrijker: is wetenschapsjournalistiek ook onderzoeksjournalistiek?

Argwaan is op zijn plaats als wetenschappers hun claims presenteren, stelde Knip en gaf een overzicht van zaken die de argwaan moeten wekken. Soms zijn claims letterlijk te mooi om waar te zijn: geneesmiddelen tegen het HIV-virus, de oplossing van het wereldvoedselprobleem. Grote zakelijke belangen hebben ook een vertroebelende werking. Zo weet de NASA juist voor elke budgetronde een ‘doorbraak’ te produceren. En veel wetenschappers zijn gebonden aan financiers, zoals de farmaceutische industrie. Wiens brood men eet….

Lang niet altijd, overigens, valt de journalist te verwijten dat een verhaal over een wetenschappelijke ontdekking in de krant later correctie behoeft. Zo werkt wetenschap nu eenmaal, soms is meer onderzoek nodig om een verhaal te bevestigen – of te weerleggen. Denk aan de koude kernfusie, of de bewering dat alle bossen zouden uitsterven door de zure regen. Destijds was simpelweg niet bekend dat veel bodemsoorten in staat zijn het zuur te bufferen.

Maar alertheid is altijd geboden, aldus Knip, als de oorspronkelijke publicatie niet aan gedegen wetenschappelijke kritiek is blootgesteld. Dat kan gebeuren als een publicatie bevestigt ‘wat we altijd al dachten’, de wetenschapper een paus is in zijn veld, de resultaten in niet gereviewde boeken of tijdschriften verschijnen of als het onderzoek zich bevindt op het snijvlak van twee onderzoeksvelden en niemand zich er verder aan wil branden.

Epidemiologie bevat een aantal valkuilen, die gemakkelijk leiden tot misverstanden of misbruik in de hand werken. De Rijck deelde een lijst uit met aandachtpunten en hulpmiddelen bij het begrijpen van statistiek en wetenschappelijke publicaties. Maar de journalist moet een stap verder gaan dan het nauwgezet napluizen van de publicatie. Onderzoek ook de manier waarop de studie tot stand is gekomen, is het advies van De Rijck. Is de originele publicatie of volledige rapportage niet beschikbaar, dan moeten alle alarmbellen afgaan. Wie financierde het onderzoek? Hoe onafhankelijk is de wetenschapper, wat is zijn belang? Kijk grondig naar de wijze waarop de studie is uitgevoerd. Wie in de wachtkamer van de apotheker gaat vragen naar chronische pijn, krijgt andere antwoorden dan wie een telefonische enquête doet.

Dat is een van de trucs die de farmaceutische industrie gebruikt om aandacht te krijgen voor haar producten. Andere grapjes: persconferenties waar professoren middelen aanprijzen en die zijn bijeengeroepen door persbureaus, in opdracht van de industrie. Of pseudo-onderzoek naar welbevinden. Of het uitroepen van de ‘dag van de ziekte X’. Hoe toevallig dat er net een medicijn is ontdekt tegen die ziekte! In die omstandigheden moet de argwanende wetenschapsjournalist een heuse onderzoeksjournalist worden. Wat verdient de prof aan zijn positieve advies?

Voor dit verslag van deze leerzame maar matig bezochte sessie krijg ik niets. Net als de sprekers, voorzitters en de vele anderen die de VVOJ-conferentie in Rotterdam tot een succes maakten.

Praktische tips van Kim De Rijck

Waarop kan je letten bij de interpretatie van medische studieresultaten:

• Vraag steeds de originele publicatie of bron van de studieresultaten. Als men alleen maar een (selectieve) samenvatting wil geven, weet je al hoe laat het is …
• Werd de studie uitgevoerd in een redelijk onafhankelijke onderzoeksinstelling, of rechtstreeks door een farmaceutische firma, of werd een studiebureau of commercieel onderzoekscentrum door een farmaceutische firma betaald om de studie uit te voeren?
• Is de studie al afgerond of gaat het om voorlopige resultaten? Voorzichtig met voorlopige resultaten! (Al kunnen die in sommige gevallen – zoals bij de vaststelling van kwalijke neveneffecten – ook al overtuigend genoeg zijn.)
• Zijn de resultaten gepubliceerd in een gerespecteerd vakblad (en ondergingen ze dus ‘peer review’), of komen ze rechtstreeks van een onderzoeker of firma die het onderzoek uitvoerde?
• Tot welk stadium van onderzoek van het geneesmiddel behoort de studie? In ‘Phase I’ wordt vooral de veiligheid getest, conclusies over de efficiëntie zijn hier meestal voorbarig.
• Hoe groot was de groep patiënten die bekeken werd? Een studie met tien patiënten heeft minder kracht dan een met duizend. Al wil een kleine studiegroep nog niet zeggen dat de resultaten waardeloos zijn: voor het uittesten van sommige ingewikkelde therapieën zijn grote studiegroepen soms ondoenlijk.
• Als het gaat om een onderzoek naar hoe veel een aandoening onder de bevolking voorkomt: werden de bevraagde of onderzochte personen op een echt willekeurige manier verzameld, of werden ze bevraagd in de dokterswachtkamer of bij de apotheker (waar gemiddeld meer zieke mensen te vinden zijn dan in de hele bevolking)?
• Gebeurde de studie gecontroleerd dubbel blind (noch patiënten, noch behandelende artsen weten wie het te testen middel en wie een placebo krijgt toegediend) en gerandomiseerd (de patiënten worden voldoende willekeurig over de testgroep en de controlegroep verdeeld)?
• Welke ‘endpoints’ zijn precies onderzocht en beschreven (bijvoorbeeld: aantal antilichamen in het bloed, of allergische symptomen)? Zijn de endpoints die in de studie staan dezelfde als degene die in een begeleidende tekst of persbericht gehypet worden?
• Hoe groot is het verschil tussen het effect van het geteste middel en van de placebo (‘control’)?
• Zijn de vastgestelde nevenwerkingen van het geteste middel niet erger dan de kwaal?
• Zijn er in de studie ‘Interests declared’? Is de studie uitgevoerd in opdracht van een farmaceutische firma?
• Zoek als je kan naar de link tussen de onderzoeker en de farmaceutische firma.
• Hoe sterk is de statistische significantie van de cijfers: p-waarde, r-value, …. Een cursus statistiek kunnen we hier niet geven. Er bestaat wel volop literatuur waarmee je daarover iets kan leren.
• Als gesteld wordt dat een geneesmiddel de kans op een ziekte halveert in een bepaalde patiëntengroep, bekijk dan ook even de absolute cijfers: een verlaging van 60 % kans naar 30 % is waarschijnlijk spectaculairder dan van 1,5 % naar 0, 7 %.
• Vraag de mening over de resultaten van een andere expert die niets met het onderzoek te maken heeft.

Er zijn op het internet veel bronnen beschikbaar voor tips over het waarderen van medisch onderzoek. Om er een paar te noemen:

• Dutch Cochrane Center
• Leuvense-Belgische tak van de Cochrane Collaboration over Evidence Based Medicine
  • Beoordelingsformulieren over de criteria voor een goede studie, met minicursus statistiek
  • Cursussen over Evidence Based Medicine: voor zorgverleners, over hoe wetenschappelijke studies correct te interpreteren. Kan in samenspraak met organisatoren mogelijk ook voor journalisten.