Von November 2019 bis Juli 2021 habe ich den Verkehr in der Gnauthstraße in Gießen gemessen. Dazu habe ich einen Raspberry-Pi verwendet, der mit einem Kamera-Modul und der quelloffenen Software von Telraam den Verkehr zählt. Telraam bietet zusätzlich noch eine Plattform, welche die Auswertung der Verkehrsdaten übernimmt. Die dadurch gemessenen Daten sind öffentlich einsehbar. Hier ordne ich diese Daten zum einen im Kontext der Open-Source-Software zur Messung des Verkehrs ein und zum Anderen innerhalb der verkehrspolitischen Diskussion, um den in der Gnauthstraße geplanten Zebra-Streifen.

Hier liegt die deutsche Version meines Talks über Data-Scraping (dort in Englisch) in der Hacky-Hour in Gießen. Den zweiten Teil des Talks hat Martin Lellep gehalten und seine Projekte vorgestellt.

Beginn des Talk

Heute geht es um Data-Scraping

• Daten aus dem Internet lesen und speichern
• Messen beinhaltet aber oft auch eine zeitliche Komponente

Tools:

• Jupyter-Notebooks, Python, beatiful-soup
• Dev-Tools im Browser
• Github-Actions

Ziel ist Verständnis über folgende Punkte:

• wie sind Websites aufgebaut
• was benötige ich um Zeitreihen aus Websites zu erstellen
• einige Werkzeuge zur Auswertung

Grundlagen

Daten im Internet werden von einem Browser gelesen.