Von November 2019 bis Juli 2021 habe ich den Verkehr in der Gnauthstraße gemessen. Dazu habe ich einen Raspberry-Pi verwendet, der mit der quelloffenen Software von Telraam den Verkehr zählt. Telraam bietet zusätzlich noch eine Plattform, welche die Auswertung der Verkehrsdaten übernimmt. Die dadurch gemessenen Daten sind öffentlich einsehbar. Ich ordne diese Daten jetzt zum einen im Kontext der Open-Source-Software zur Messung des Verkehrs ein und zum Anderen innerhalb der verkehrspolitischen Diskussion, um den in der Gnauthstraße geplanten Zebra-Streifen.

Im letzten Eintrag habe ich eine Karte der NUTS3-Gebiete Deutschlands erstellt, die die Anzahl der Zeitungen pro Gebiet darstellt, die dort berichten. Nach den Reaktionen auf die letzte Karte dachte ich es ist eine gute Idee die Pflege der Daten nicht an mir bzw. meinen Zeit-Resourcen scheitern zu lassen. Daher beschreibe ich in diesem Text, wie ich anstatt der Daten der BDZV-Website (als propritäre Quelle) ausschließlich offene Daten aus Wikidata nutze, um dann eine Karte zu erstellen die sich per Github-Action automatisch aktualisiert.

Im Folgenden beschreibe ich wie ich mit quelloffener Software, frei verfügbaren Karten-Daten und ebenfalls frei zu verwendenden Geodaten der Landkreise in Deutschland eine Choroplethen-Karte (oder Flächenkartogramm) erstelle. Diese Karte zeigt für jeden Landkreis die Anzahl an Zeitungen, die Nachrichten über diesen Landkreis bringen. Als Datengrundlage dienen dabei die Zeitungen des Bundesverbands Digitalpublisher und Zeitungsverleger¹.

Web-Scraping setzt oft voraus, dass ein eigener Rechner verfügbar ist, welcher bestenfalls 24h online 🌐 ist und die Abfragen für das Scrapen absenden kann. Wenn wir das vermeiden wollen, beöntigen wir entsprechende Infrakstruktur. Simon Willison beschreibt in seinem Blogpost git-history ein Python Tool, welches aus einer Historie an git commits zu einer Datei, eine Zeitreihe erstellt. Diese Serie von git commits basieren auf einer speziellen Art zu scrapen. Dieses Pattern vereinfacht Web-Scraping, indem als Infrastruktur kein eigener Rechner genutzt werden muss, sondern Github actions.

Simon Willison describes in his blog post git-history, a python tool which leverages a pattern, previously described by Simon to scrape web content via Github actions. Basically it saves every different version of a web resource. I wanted to try this pattern on a to this date static source of open data, to supply the future with a time series of this former static source. So I did with the parking data of Frankfurt and you can inspect the data in this repository.