Conferentie, Kenniscentrum

VVOJ2004: Low budget onderzoek

VVOJ Conferentie 2004
Titel: De eigen achterban heeft veel nieuws
Workshop: Low budget onderzoek
Sprekers: Robert Sikkes (het Onderwijsblad)
Voorzitter: Yvonne van de Meent (freelance)
Datum en tijd: Vrijdag 19 november, 13.30 – 14.45 uur
Verslaggever: Wim Crezee

Representatieve enquêtes als basis voor onderzoeksjournalistiek zijn kostbaar, als je ze inkoopt. Maar je kunt ook heel veel zelf doen, zo verduidelijkt Robert Sikkes van Het Onderwijsblad.

In het najaar van 2002 kwamen van collega-journalisten veel vragen over geweld op school binnen bij de Algemene Onderwijsbond. Wat was er aan de hand? In een paar weken tijd drie incidenten. Incidenten? Pilletje in de thee bij de juf Engels in Hilversum, meppende ouder in Drente, stekende broer in Amsterdam-Noord. En dan geldt deze Journalistieke Hoofdwet: één is een incident, twee een trend, dus drie een maatschappelijk probleem. Bij de afdeling voorlichting belden journalisten niet met een vraag, maar met de stelling ‘dat agressie en geweld op scholen steeds verder toenemen’. Of de Algemene Onderwijsbond dat even kon bevestigen. Soms gingen de vragen nog veel verder, zoals: Kunt u twee homoleerkrachten leveren voor het praatprogramma van vanavond, en dan wel twee homoleerkrachten die door Marokkaanse jongens in elkaar geslagen zijn.
Maar we wisten het niet. Of het meer was of minder.
De enige mogelijkheid was het uit te zoeken. Maar er was niets. Alleen een onderzoek naar pesten en geweld onder leerlingen. Niets over geweld tegen leraren. Of hoe scholen daar mee omgaan.

Met het onderzoeksinstituut ITS van de Radboud Universiteit Nijmegen zijn we gaan kijken wat er mogelijk was. Wij hebben 75.000 leden die in het onderwijs werken. Die kan je schriftelijk enquêteren, maar dat is ongelofelijk duur. Daarom hebben we gekozen voor een internetpanel, waar mensen zich kunnen aanmelden als ze lid zijn. Dat heeft voordelen: we weten uit het ledenbestand waar ze werken, geslacht, hoe oud, etc etc.
Zo valt een panel (inmiddels rond de 1200 mensen) op te bouwen die als het er genoeg zijn niet alleen representatief zijn voor het gemiddelde AOb-lid, maar, zoals later bleek, ook voor de gemiddelde werknemer in het onderwijs. En dat je iets kan zeggen over hoe onderwijspersoneel denkt, voelt, of wat ze overkomt – en ik kan op basis daarvan ook vertellen dat de doorsnee-werknemer in het voortgezet onderwijs graag wijn drinkt, de Volkskrant of een regionaal dagblad leest, nog wel PvdA stemt maar tendeert naar de SP, een poes heeft en met de caravan naar Frankrijk gaat. Je ledenbestand, of je abonneebestand van een vaktijdschrift, is een fantastische bron, goud waard, de basis om met de feiten uit de doelgroep meer te vertellen over de doelgroep.

We hebben ze alles gevraagd wat maar mogelijk was. Wel honderd vragen – veel – maar betrokken mensen zijn bereid om daar tijd in te steken. Wij hebben daar twee zaken in onderscheiden: meningen/gevoelens/opinies enerzijds en feiten (hoe vaak geslagen, hoe vaak scheldende ouder etc) anderzijds. Dat kaartten we aan in gesloten vragen, maar ook in open vragen: ‘Beschrijf wat u is overkomen’. En we vroegen naar alle vormen van agressie: ouders/leraren, kinderen/leraren en leraren/leraren. Ja, ook dat laatste komt voor; wat tot het aardige stuk (roddel was de meest voorkomende vorm van agressie) ‘Een goede roddel schept een band’ leidde.
En dat is ongewoon, maar dit soort zaken kan je aan leden/abonnees vragen omdat ze jou – het blad, de organisatie – vertrouwen. Zo haal je met een enquête veel voorvallen naar boven van mensen die traceerbaar zijn en aan wie je, als je dat vooraf duidelijk maakt, ook kan vragen of ze met die feiten in het blad willen. Wij stoppen in al onze enquêtes daarom heel veel gerichte open vragen, in plaats van dat we zaken laten scoren op een vijfpuntsschaal.

Wat je dus feitelijk doet is een soort geordend massa-interview. Juist die open vragen zijn belangrijk om kleur te geven aan de cijfertjes die je verzamelt. Voor betrouwbare cijfers heb je tenminste honderd mensen nodig. Ik vind dat wat mager. Maar als de eerste honderd binnen zijn, gaan in de dagen daarna de percentages nauwelijks nog omhoog of omlaag. Met ons panel van 1200, van wie afhankelijk van het onderwerp ongeveer 50 tot 80 procent reageert (dus 600 tot 600 mensen) voel ik me echter toch een stuk safer.

Vragen maken is makkelijker dan je denkt, maar wel veel werk. Veel verzinnen, veel schrappen, veel eindredactie. Is de vraag helder, vraagt deze wat je wilt weten. Controle-vragen, iets anders geformuleerd wat je al eerder gevraagd hebt om te onderzoeken of er consistentie in zit.

De uitkomst beantwoordde niet aan de opzet. We weten nog steeds niet of het onderwijs er veiliger op wordt voor leerkrachten of niet. Voor zo ver dat mogelijk was om te achterhalen – je doet een beroep op het geheugen van mensen en dat is een enorm risico – deugde de vraagstelling niet. Dat bleek uit de controlevragen. We vroegen of ze iets mee hadden gemaakt afgelopen jaar, de afgelopen drie jaar, de afgelopen tien jaar of in hun carrière en bouwden los van het geheugen-risico onvergelijkbare tijdspannes in.

Toch was de enquête een succes. Uiteindelijk hebben we drie grote verhalen kunnen maken – over agressie van ouders en leerlingen tegen leraren, van leerlingen onderling en leraren onderling. Voor het eerst waren er gegevens over hoe het met de veiligheid was gesteld (94% voelt zich veilig in de klas, 85% op school), wat er plaatsvond (veel schelden, fysiek geweld is zeldzaam). Je komt tot wonderlijke cijfers: in het basisonderwijs lopen leraren nog wel eens een klap op van leerlingen. Daar sta je dan toch van te kijken, totdat je merkt dat het gaat om vechtpartijtjes van leerlingen die een leraar uit elkaar moet trekken; dan wil er nog wel eens een arm of been jouw kant op vliegen.
En de klapper was natuurlijk: een kwart van de schoolleiders verdoezelt geweld uit angst voor de goede naam van de school en vangt personeel dat het slachtoffer is slecht op.

Dagenlang was de enquête nieuws. En weer toen Hans van Wieren van het Terra College werd vermoord, want het was het enige onderzoek. En nog steeds, want vervolgonderzoek van Nova/Intomart en het ministerie van OCW kwamen uit op exact dezelfde conclusies. En daarmee fungeert ons onderzoek als nulmeting – voor de moord op Van Wieren voelden evenveel docenten zich veilig als daarna. Nu kunnen we zeggen of het erger wordt of niet, wanneer we dit over een paar jaar herhalen.

We hebben meer enquêtes gehouden. Zoals een opinie-onderzoek over vervrouwelijking; de uitspraak ‘Juffen willen meer mannen in het kippenhok’ was de trigger voor veel media om het over te nemen.

Enquêteren – wat kost dat eigenlijk?

Wij doen het nu nog met het ITS van de Radboud Universiteit Nijmegen. Daar zijn twee redenen voor: één is respectabiliteit, de andere is dat zij veel ervaring hebben. Wel doen wij het meeste werk: vragen maken, analyseren van de gegevens; zij doen de technische kant van het computerprogramma, het aanschrijven van de leden, de gegevenspresentatie. Voor het panelonderzoek agressie betaalden we 3000 euro voor meer dan honderd vragen. In totaal hebben we daar 12 pagina’s kopij voor gekregen, als we die hadden laten vullen door een freelancer had dat ook 2600 euro gekost….

Duur?

In de opinie-onderzoeksmarkt liggen de prijzen hoog. Laatst kwam een aanbieding binnen van Duo Market Research. Eerste 3 vragen 900 euro, daarna 250 per vraag. Oftewel voor 40 vragen ruim 10.000 euro. Nipo deed voor Nova in samenwerking met de twee onderwijsbonden ná de moord op het Terra-college een beperkt herhalingsonderzoek van ons eerdere onderzoek, 20 vragen, ik meen rond de 7000 euro.
Het kan nog goedkoper. Helemaal zelf doen. Benodigdheden: een goed computerprogramma, te koop op internet. Dat vraagt meer eigen werk, een goede database van abonnees/leden, een handige programmeur in het gebouw, een website met een wachtwoord voor abonnees, maar als het eenmaal staat, kan je eindeloos aan de gang. Er zijn allerlei poll-programma’s op de markt, via internet te bestellen en allemaal onder de honderd euro. Kijk bijvoorbeeld op http://www.xigla.com/ waar een heel goed basaal programma te vinden is met veel ruimte voor open vragen (70 dollar) een andere is http://www.orplex.com/, dat weinig open vragen heeft maar veel mogelijkheden voor kruistabellen (uitsplitsingen bij ons naar man/vrouw/onderwijssector) voor 50 dollar. Het ideale programma hebben wij nog niet, maar zodra we dat hebben, gaan we het ook vaker zelf doen.

Tips

  • Het abonneebestand is een bron die goud waard is – het geeft met een enquête een beeld van een bepaalde doelgroep, of het nu gaat om leraren, artsen, ambtenaren, vrouwen.
  • Een panel dat groot genoeg is matcht al snel met de doelgroep/beroepsgroep, het is goed om zo’n match door specialisten te laten beoordelen op graad van significantie. Honderd is een minimum, een beetje mager. Vierhonderd uitstekend.
  • Een panel moet betrouwbaar zijn, dus niet van buiten het abonneebestand laten aanmelden, alleen traceerbare mensen laten deelnemen, op een speciale site achter een wachtwoord.
  • Hoe meer je zelf doet (vragen maken, op het net zetten, uitslagen produceren) hoe goedkoper het is.
  • Zoek naar een programma dat bij jouw doelstellingen past. Koop er desnoods meer, ze zijn goedkoop.

 

Het Onderwijsblad is het magazine van de Algemene Onderwijsbond, dat iedere veertien dagen in een oplage van 77.000 onder leden en abonnees wordt verspreid. Meer info op www.aob.nl, rechtsboven klikken op onderwijsblad. Op de site staat het gratis digitaal archief.

Gerelateerde artikelen

conferentie-1x

Claimen en framen, dat was het thema van de conferentie 2023. Wie claimt en framet stuurt de dialoog, zet thema’s op scherp en maakt andere geluiden vaak monddood. Hoe gaan we hier als onderzoeksjournalisten mee om? Hoe bewegen we ons in een wereld van wantrouwen? Daarover ging het onder meer tijdens twee succesvolle en verrijkende conferentiedagen op vrijdag 17 en zaterdag 18 november 2023 in Gent.

conferentie-1x

Eind 2013 ontvangt de gemeenteraad van Birmingham, Engeland – een merkwaardige anonieme brief waarin melding wordt gemaakt van een complot van Islamisten om openbare scholen in een achterstandswijk over te nemen. Het geheime plan had de codenaam Operation Trojan Horse. De brief wordt intern snel ontmaskerd als nep, maar veroorzaakt toch landelijke paniek als die in maart 2014 lekt naar de pers. Anekdotes over leerkrachten die Salafistische gedachten in de hoofden van hun leerlingen pompen en hun vrouwelijke collega’s discrimineren, buitelen over elkaar heen in de media.

Sluit je aan bij de vereniging van onderzoeksjournalisten

En vergroot je kennis én netwerk