Conferentie

Webscraping

Lots of websites contain information that can be of great value to you as a journalist. But this information might change every day, and therefore it is impossible to keep track of it by hand. That’s why we let the computer do our work for us. This is called webscraping.

At NRC Handelsblad, I have written a script that scrapes a website where real estate brokers publish information of houses that are for sale. I scape this site every week, and so I get a unique insight in the development of this market in turmoil. I put all the information in a database that now contains information about almost 250.000 houses.

And last year, during the take-over of ABN Amro bank by Fortis, we wanted to make a map of all the branches of these two banks in The Netherlands. Because both companies didn’t want to give us all the addresses, I used a script to scrape the Dutch Yellow Pages and I ended up with a long list that I could put on a map easily.

In this course, you will learn to do this yourself. You will learn to program your own webscraping machine. A computer program? This probably isn’t something you have done ever before, but it isn’t very difficult. Perhaps only slightly difficult.

There are several different computer languages you can use for this job, but in this course we use Perl, a language that some people call the duct tape of the internet. In Perl, you are going to write a script that can find a web address, fill out a search form and save the results you are looking for on your hard disk.

At the end of the session, you might have written your first ever computer program. But there, the story doesn’t end. I never said programming wasn’t difficult at all. In the future for every different task you’ll come up with, you will have to write a new program. But after this course, you won’t be afraid to do so. And after writing several scripts, you’ll notice that it takes you only about an hour to write a new one.

During this hands-on session, we use the Firefox 3 webbrowser with the add-on ‘Links and forms’. The script is written in Perl, using the ActiveState Komodo debugger. Besides Perl, we also need the package WWW::Mechanize.

Trainer: Arlen Poort

When? Friday November 21st, 3.45 PM
Where? Erasmushogeschool, Room 3.01

Gerelateerde artikelen

De Wob verdwijnt per 1 mei en wordt vervangen door de WOO, de Wet Open Overheid. In het eerste VVOJ Café van dit jaar komt Annemarie Drahmann, universitair hoofddocent bestuursrecht aan de Universiteit Leiden, vertellen wat er verandert met de nieuwe wet.

Eindelijk weer samen! Dat gevoel overheerste op de VVOJ Conferentie 2021 in Brussel, die vlak voor het ingaan van zwaardere lockdown-maatregelen kon doorgaan. Vaste conferentiegangers weten dat het gesprekje in de wandelgang, het vlugge contact via de nieuwe conferentieapp en de kans om samenwerkingsplannen te smeden tijdens het diner minstens zo belangrijk zijn als de keynote-sprekers, de VVOJ-essayist en de meer dan 36 losse workshops en debatten.

Bjørn Oostra, hoofdredacteur De Limburger, is de winnaar het van het Vliegwiel, de prijs van de Vereniging van Onderzoeksjournalisten bedoeld voor de hoofdredacteur of manager die de onderzoeksjournalistiek dit jaar het meest heeft gestimuleerd.

Vorige week heeft de VVOJ het tweede Regiocafé gehouden waarin collega’s uit verschillende delen van het land de verhalen achter hun onderzoeksverhalen vertelden. Een doorslaand succes! Heb je het gemist of wil het herbekijken? Dan kan dat op YouTube.

Vanaf dinsdag 7 september staat de weg naar eeuwige roem voor onderzoeksjournalisten weer open: het is dan mogelijk om jezelf of anderen voor te dragen voor dé prijs voor onderzoeksjournalistiek: De Loep 2021!

Chris de Stoop kreeg afgelopen juni de oeuvreprijs van de VVOJ, maar ‘journalist’ voelt Chris De Stoop zich al jaren niet meer. Dus werkt de Vlaamse boerenzoon niet meer voor het toonaangevende weekblad Knack, maar wijdt hij zich aan het schrijven van boeken die – dat dan weer wel – alom geprezen worden om hun gedegen journalistieke onderzoek.

Op vrijdag 24 juni 2022 zijn op de Avond voor de Onderzoeksjournalistiek in Antwerpen de Oeuvreprijs 2022, de ASN Aanmoedigingsprijs 2021 en de Loep 2021 uitgereikt. Met deze prijzen viert de Vereniging van Onderzoeksjournalisten (VVOJ) jaarlijks de beste onderzoeksjournalistiek in Nederland en Vlaanderen.

Sluit je aan bij de vereniging van onderzoeksjournalisten

En vergroot je kennis én netwerk