‘Als Oude Pekela weer onderaan eindigt, moeten we onderduiken’

Journalistieke kwaliteitslijsten maken is wel wat méér dan even een datasetje in SPSS stoppen. De overheid is niet erg happig op het vrijgeven van gegevens en geen sector waar de jaarlijkse ranglijsten met open armen worden ontvangen. Toch loont het om door te zetten, bleek maandagavond 15 maart tijdens het VVOJ Café in het Utrechtse restaurant Lofen.

Panelgasten: Arthur van Leeuwen (Elsevier), Jeroen Trommelen (de Volkskrant) en Henk Maassen (Medisch Contact)
Gespreksleider: Miro Lucassen
Datum: 15 maart 2010
Locatie: Lofen, Utrecht
Verslag: Arno Kersten, 16 maart 2010

De lokale belangengroep stuurde boze brieven en dreigde dat ze met twintig man naar de redactie zouden komen. “Als Oude Pekela de volgende keer weer onderaan eindigt, dan moeten we onderduiken”, grapt Arthur van Leeuwen, chef onderzoeksredactie van Elsevier, en verantwoordelijk voor ranglijsten als ‘De beste gemeente’ en ‘De beste ziekenhuizen’.
Het illustreert wat kwaliteitslijstjes teweegbrengen en het is doorgaans hetzelfde liedje. De bovenste zijn blij met de – vanzelfsprekend terechte – waardering, de onderste zijn boos met de – uiteraard onterechte – afkeuring. “Er zijn ziekenhuizen die een advocaat op ons hebben afgestuurd. En ik heb boze medici aan de telefoon gehad bij wie ik dacht: dat zal maar je arts zijn.”
Kwaliteitslijstjes leveren bijna per definitie weerstand op, beamen de panelgasten tijdens het VVOJ Café maandagavond 15 maart in de Utrechtse uitspanning Lofen. Jeroen Trommelen is samen met Volkskrant-collega Ellen de Visser verantwoordelijk voor de jaarlijkse ranglijsten van verpleeg- en verzorgingshuizen. “Over de kwaliteit van verpleeghuizen werd in 2006 veel gediscussieerd. Voor veel mensen is het een ontoegankelijk domein. Trouw deed de scholen, het Algemeen Dagblad en Elsevier de ziekenhuizen. We vonden dat wij met de verpleeghuizen moesten beginnen.”
Kritiek richt zich vaak op de formulering en weging van de indicatoren. Bij de Volkskrant baseren ze zich voor het verpleeghuizen-onderzoek op gegevens van de instellingen zelf. Maar daar passen ze wel een eigen weging op toe. “We vinden niet alle twintig indicatoren even belangrijk.” Daarom helpt een deskundigenpanel mee met het toekennen van het relevante gewicht aan de verschillende criteria.
Ook Elsevier houdt de lezer nadrukkelijk in gedachten. Zo riep de redactie bij het beoordelen van gemeenten de ‘profijtindex’ in het leven, om aan te geven waar inwoners het meeste waar voor hun geld krijgen. “Die hebben we zelf bedacht”, benadrukt Van Leeuwen. “Waarom? Omdat we vonden dat we een profijtindex moesten hebben.”
Toch erkennen de panelgasten ook de beperkingen. Elseviers onderzoek naar het beste ziekenhuis is gebaseerd op beoordelingen door een kleine vijfduizend medisch specialisten en andere medewerkers die werkzaam zijn in de sector zelf.
En zo zijn de gegevens over verpleeg- en verzorgingstehuizen die de overheid vrijgeeft, op dat moment al bewerkt met een ingewikkelde correctieslag. Die berekening is een “black box”, zoals Trommelen het noemt. Dat wil zeggen: “De dataset gaat erin en dan worden er allerlei correcties op losgelaten.” Dat moet voorkomen dat de scores al te veel vertekend raken door zaken die een instelling niet zijn aan te rekenen. Maar dat zorgt wel voor andere vertekeningen. “Door die correcties kun je toch goed scoren met een objectief lage prestatie.”
Trommelen: “Ik zou niet willen zeggen dat degene die bovenaan de lijst staan per se de beste is. Maar een verpleeg- of verzorgingstehuis onderaan de lijst, daar zou ik toch niet graag mijn moeder naar toe brengen.”
Die black box openbreken via een beroep op de Wet Openbaarheid van Bestuur staat op zijn wensenlijstje, maar het ontbreekt Trommelen vooralsnog de tijd. Bovendien: het is de vraag of dat zou lukken. De overheid is niet erg happig op het vrijgeven van data en relevante informatie wordt welbewust buiten het bereik van de wob geplaatst, is ook de ervaring van Van Leeuwen. Veel van de Elsevier-onderzoeken komen voort uit de vraag: wat gebeurt er met publiek geld? Om die vraag te beantwoorden heeft hij ook een aantal wob-procedures moeten voeren. “De inspectie zegt: de cijfers zijn van de ziekenhuizen. Ik weet dat er op een gegeven moment is besloten dat de constructie wob-proof moest zijn. We zijn het enige land dat ik ken waar sterftecijfers niet bij de overheid berusten, maar in de private sfeer. De data is er wel, maar het wordt bewust buiten de invloedssfeer van de wob gehouden.”
Zo blijken soms ook indicatoren als bij toverslag uit overheidscijfers te verdwijnen. “In 2006 riep de toenmalige staatssecretaris: als volgend jaar niet elke bejaarde een één- of tweepersoons kamer krijgt, dan treed ik af. Het jaar erna werd het niet meer gemeten”, aldus Trommelen.
Bij Medisch Contact hebben ze ooit wel eens “een wilde gedachte” gehad om zich aan medische kwaliteitslijsten te wagen, maar daar hebben ze vanaf gezien. “Ons blad wordt bevolkt door medici die elkaar betwisten over indicatoren”, vertelt redacteur Henk Maassen.
Wat dan wel? Maassen en zijn collega’s wilden de topscorers vinden op het gebied van klinisch-wetenschappelijk onderzoek. Met een citatie-index worden de impact en invloed van wetenschappers en hun publicaties in wetenschappelijke topbladen in kaart gebracht. Overigens, en niet verwonderlijk: “Een hoge citatie-index is soms ook te danken aan het vele commentaar dat op een onderzoek is gekomen, zoals bijvoorbeeld bij de Yakult-kwestie een tijd terug.”
Voor Medisch Contact werkt de rangschikking van medische toppers ook als een toets voor de redactie zelf. “We proberen dagelijks op onze website en wekelijks in het blad de krenten uit de pap te halen. Wat vinden dokters belangrijk om te weten? Aan het eind van het jaar als we de lijst opstellen zien we ook wat we hebben gemist. Het blijkt dat we de boel meestal redelijk in het vizier hebben. Maar vanmiddag schoot me nog een voorbeeld te binnen van iets dat we achteraf bleken te hebben gemist. Een trial met een gentherapie die volkomen was mislukt en waarbij zelfs doden waren gevallen.”
Onderzoek voor ranglijsten levert ook aardige bijvangst op. De Volkskrant-ranglijst van de machtigste Nederlanders biedt de redactie tegelijkertijd een aardige ingang in de top van het bedrijfsleven, aldus Trommelen. Bij Medisch Contact leverde een rondbelronde langs wetenschappers die dat jaar juist nul keer waren geciteerd ook een mooi verhaal op. “Een van hen zei: ‘De Rolling Stones hebben ook niet alleen maar hits gehad’. Maar sommigen wilden niet met naam in het blad, misschien bang dat ze het bij een volgende subsidieaanvraag moeilijker zouden krijgen. Onze cartoonist had een mooie tekening bij de tekst: ‘Eindelijk één keer geciteerd.’”
Trommelen en De Visser hebben vanaf het begin getracht de sector zelf mee te krijgen met het verpleeghuizenonderzoek. “We hebben hard gewerkt om het een plek te geven in de sector. Dat is veel verstandiger dan zoiets als outsiders in je eentje te gaan zitten doen. We zijn nu al vier jaar aan het uitleggen wat we doen, en ik moet zeggen: met toenemend succes. Ik merk dat de sector nu meer begint mee te denken. We hadden vooraf al ingeschat dat dat een tijd zou duren. Het is een sector die niet gewend is aan controles en verantwoording afleggen. Je kun ook niet even zeggen: dan ga ik wel naar een ander verpleeghuis.”
Wat dat betreft ziet ook Van Leeuwen wel dat er wat veranderd is. Er was een tijd dat hij gegevens over universiteiten in een gesloten envelop moest ophalen in de kantine van het ministerie van Onderwijs. De Elsevier-redacteur herinnert zich nog de eerste keer dat ze de studenttevredenheid gingen meten bij universiteiten. Zijn kamer stond vol met dozen bol van de collegeroosters, zodat ze wisten waar ze welke studenten konden vinden. Werkstudenten werden als enquêteurs ingezet, in een haast militaire operatie waarmee Van Leeuwen zich de woede op de hals haalde van een bestuurder van de TU Eindhoven. “Die belde me op en vroeg hoe ik het in mijn hoofd haalde om die studenten te ondervragen, en of het klopte dat ik bezig was met een onderzoek voor Elsevier.” Van Leeuwen bevestigde dat. “Toen zei hij: ‘Gelukkig, ik dacht dat Delft erachter zat.’”
Meer lezen?
De Nieuwe Reporter: Dan schrappen we deze indicator toch gewoon!?