Titel: Working with data (Part III): Scraping and Cleaning
Datum: 17 november 2012
Tijd: 09:00-10:15 uur
Spreker: Nils Mulvad
Aantal deelnemers: 12
Verslag: Mike De Beck
Scraping en Cleaning is belangrijk geworden voor de hedendaagse journalist. Informatie op websites wordt constant vernieuwd om niet steeds weer dezelfde site te moeten raadplegen voor informatie die vaak verandert, zijn scraping en cleaning bijzonder interessante tools.
Scraperwiki en Outwit zijn enkele programma’s die Mulvad als interessant aangaf.
Outwit is zeer gebruiksvriendelijk en dus een goede starter voor diegene die wat minder ervaring hebben in het scrapen. Daarenboven is het niet duur, maar dat neemt niet weg dat er ook negatieve kanten zijn aan het programma.
Om je ‘scraping skills’ wat te verbeteren gebruik je liever iets anders dan Outwit. Welk programma dan wel goed is, daar komen we later nog op terug.
Het online boek ‘Scraping for Journalists’ is enorm handig om de basiskennis wat aan te scherpen. Het is te vinden op leanpub.com en werkt met levels. Mulvad vertelde dat hij op level vijf zat waarmee de Deen elke dag al snel een half miljoen sites kan raadplegen. Om maar even te vergelijken op level vier is het mogelijk om dagelijks een honderdduizendtal webadressen af te speuren.
Tussendoor deelde Mulvad nog twee interessante tips uit: Open een site nooit meer dan een keer en controleer eerst alle nieuwe sites op informatie.
Met dat achter de rug sprak Mulvad verder over het programma Needlebase. Het was interessant voor journalisten om op het web aan ‘scraping’ te doen. De vorige zin staat niet voor niets in de verleden tijd, want google kocht Needlebase vorig jaar op en zorgde ervoor dat het openbaar niet meer is te raadplegen.
Kapow is dan weer een handig programma als user interface. Het dient om gericht te zoeken en neemt slechts een halfuur of en uur in beslag. Hiermee is het verhaal en de data van het verhaal snel te vinden, al wordt er wel verwacht elk jaar een licentie te kopen om Kapow te kunnen gebruiken.
Uiteindelijk werd de vraag gesteld of er een dergelijk programma bestond om interessante informatie op facebook te scrapen. Mulvad vertelde dat het zeer moeilijk is om op dit sociaal medium gericht te zoeken. Toch kan men wel zien wie de populairste is op facebook, over welk onderwerp het meest wordt gesproken en welke interessante reacties hierop volgen. Ook al zijn de meeste reacties dan weer reacties op reacties. Meestal wordt scraping gebruikt voor tijdschriften, aldus Mulvad.
