Offenes Ratsinformationssystem: Scraper
Clone or download
Fetching latest commit…
Cannot retrieve the latest commit at this time.
Permalink
Type Name Latest commit message Commit time
Failed to load latest commit information.
db
risscraper
.gitignore
LIZENZ.txt
README.md
__init__.py
config.py
main.py
requirements.txt

README.md

Scraper für Politik bei Uns

Die Scraper können aus den Ratsinformationssysteme (RIS) Somacos, SessionNet und CC e-gov AllRis strukturierte Daten wie Personen, Gruppierungen, Sitzungen, Tagesordnungspunkten, Beschlussvorlagen, Anträgen und Anhängen auslesen und diese in einer Datenbank ablegen.

Diese Scraper sind die Grundlage für die Website Politik bei uns (Github, WWW), die zur benutzerfreundlichen Suche und Anzeige der Daten genutzt werden kann. Sie können jedoch auch unabhängig davon eingesetzt werden.

Anforderungen

Die Scraper sind in Python 2 geschrieben und speichern die Daten in einer MongoDB Datenbank.

Weitere benötigte Software wird in der Installationsanleitung genannt.

Installation

Eine ausführliche Installationsanleitung findet sich im Wiki.

Synopsis:

  1. Mit virtualenv eine Python-Umgebung einrichten und diese starten
  2. Python-Module installieren
  3. MongoDB starten
  4. Konfigurationsdatei config_example.py kopieren zu config.py, config.py anpassen

Anwendung

Alle Kommandozeilen-Parameter werden erläutert, wenn das Hauptscript wie folgt aufgerufen wird:

>>> python main.py --help

Mit diesem Aufruf können Inhalte für Februar und März 2013 abgerufen werden:

>>> python main.py --start 2013-02 --end 2013-03

Viel mehr zur Benutzung gibt es in einem ausführlichen Tutorial.

Lizenz

Der Code steht unter der BSD 3-Clause License Lizenz.

Geschichte

Der Scraper basiert auf dem Projekt Scrape-A-RIS bzw cologne-ris-scraper von Marian Steinbach.