Skip to content

HTTPS clone URL

Subversion checkout URL

You can clone with
or
.
Download ZIP
A swiss parliament related project built during #MakeOpenData
JavaScript Python Scala
branch: master

This branch is 66 commits behind dbrgn:master

Fetching latest commit…

Cannot retrieve the latest commit at this time

Failed to load latest commit information.
data More scraped data (85MB) and bug fix.
frontend
scraping
.gitignore
AUTHORS.txt
README.md
screenshot.png

README.md

Parlamentarier-Buzzwords

Dieses Projekt ist im Rahmen des Make Open Data Camp 2011 entstanden. Der Zweck des Projekt ist es, politische Vorstösse von Parlamentariern zu sammeln, zu analysieren, und die am häufigsten verwendeten Stichworte in einer Tag Cloud zu visualisieren.

Screenshot:

Screenshot

Technologie, Aufbau

Der Ablauf ist folgendermassen:

  1. Die Daten werden von verschiedenen Quellen geparsed. Momentan wird nur parlament.ch berücksichtigt. Die Daten werden mit einem Scala-Script geparsed und dann in ein JSON File gespeichert.
  2. Dieses JSON File wird vom Frontend einmalig geparsed und in die Datenbank geschrieben. Das Frontend ist in Python / Django geschrieben. Das Parse Script wurde als ./manage.py-Script realisiert.
  3. Die Aggregation und Sortierung / Zählung dieser Daten wird momentan on-the-fly durchgeführt.

Requirements

  • For the scraping: Scala
  • For the frontend: Python, Django, python-requests

Setup

To setup the Django frontend, it is recommended that you use a python-virtualenv.

  1. Activate your virtualenv
  2. Install dependencies: pip install -r requirements.txt
  3. Run Django server: ./manage.py runserver

To reparse the data, issue the following commands:

  1. rm db.sqlite
  2. ./manage.py syncdb
  3. ./manage.py parse_affairs
  4. ./manage.py parse_persons

License

This code is - unless noted otherwise - distributed under a BSD like license.

Something went wrong with that request. Please try again.