#    VaaliRaapija - Yksinkertainen web scraper Vaalivalvontaviraston sivujen 
#                   raapimiseen
#    Tekijänoikeus (C) 2011 Joona Lehtomäki
#
# Tämä on vapaa ohjelma: tätä ohjelmaa saa levittää edelleen ja muuttaa Free 
# Software Foundationin julkaiseman GNU General Public Licensen (GPL-lisenssi) 
# version 3 tai (valinnan mukaan) myöhemmän version ehtojen mukaisesti
#
# Tätä ohjelmaa levitetään siinä toivossa, että se olisi hyödyllinen mutta 
# ILMAN MITÄÄN TAKUUTA; edes hiljaista takuuta KAUPALLISESTI HYVÄKSYTTÄVÄSTÄ 
# LAADUSTA tai SOVELTUVUUDESTA TIETTYYN TARKOITUKSEEN. Katso GPL-lisenssistä 
# lisää yksityiskohtia.
#
# Tämän ohjelman mukana pitäisi tulla kopio GPL-lisenssistä. Jos näin ei ole, 
# katso <http://www.gnu.org/licenses/>. 

Vaaliraapija on tarkoitettu noutamaan tietoa eduskantavaalien ehdokkaiden 
ennakkoon tekemistä vaalirahoitusilmoituksista vaalirahoitusviraston sivuilta
(http://www.vaalirahoitusvalvonta.fi/fi/index/vaalirahailmoituksia/ilmoituslistaus/EV2011.html).

Toistaiseksi ohjelma hakee seuraavat tiedot puolue- ja vaalirahoitusvalvonnan
sivuilta:

A. Ilmoittajan tiedot
 1. Nimi
 2. Ammatti
 3. Puolue
 4. Kunta
B. Vaalikampanjan kulujen ja rahoituksen yhteenveto
 1. Vaalikampanjan kulut yhteensä
 2. Vaalikampanjan rahoitus yhteensä
 2.1 Rahoitus sisältää omia varoja yhteensä
 2.2 Rahoitus sisältää ehdokkaan ja tukiryhmän ottamia lainoja yhteensä
 2.3 Rahoitus sisältää yksityishenkilöiltä saatua tukea yhteensä
 2.4 Rahoitus sisältää yrityksiltä saatua tukea yhteensä
 2.5 Rahoitus sisältää puolueelta saatua tukea yhteensä
 2.6 Rahoitus sisältää puolueyhdistyksiltä saatua tukea yhteensä
 2.7 Rahoitus sisältää muilta tahoilta saatua tukea yhteensä
 2.8 Rahoitus sisältää välitettyä tukea yhteensä
C. Vaalikampanjan kulujen erittely
 1. Vaalikampanjan kulut yhteensä (kulut eriteltävä alla olevaan taulukkoon)
    Vaalimainonta
    	- Sanoma, ilmaisjakelu- ja aikakauslehdet
		- Radio
		- Televisio
		- Tietoverkot
		- Muut viestintävälineet
		- Ulkomainonta
		- Vaalilehtien, esitteiden ja muun painetun materiaalin hankinta
	Mainonnan suunnittelu
	Vaalitilaisuudet
	Vastikkeellisen tuen hankintakulut
	Muut kulut


Ohjelma on hyvin yksinkertainen Scrapy-sovellus ja sen laajentaminen (kts. TODO) 
hakemaan muuta tietoa vaalirahoitusvalvonnan sivuilta pitäisi olla kohtuullisen 
helppoa (http://doc.scrapy.org/index.html).

Kaikki tulokset tallennetaan projektin juuressa olevaan kansioon "aineisto". 
Samassa kansiossa on myös www.vaalit.fi sivuilta 10.4.2011 noudettu 
xls-tiedosto (e2011ehd.xls), jossa on listattu kaikki vuoden 2011 
eduskuntavaaleissa ehdolla olevat henkilöt. Aineisto-kansiossa oleva "data_yhdistelmä.csv"
sisältää kaikki ehdokkaat sekä ennakkoilmoitusdatan niille ehdokkaille, jotka
ovat ilmoituksen tehneet. HUOM! tässä tiedostossa on toistaiseksi duplikaattirivejä
ehdokkaille, jotka käyttävät kutsumanimenään jotain muuta kuin ensimmäistä nimeään.

Kansiossa "R" on R-skripti "stats_ennakkoilmot.R", joka muokkaa aineisto-kansioon 
haetun datan ja tekee muutamia kuvaajia.

1. Asentaminen

Vaaliraapija riippuu seuraavistaa ohjelmista/paketeista.

Pakolliset:

 * Python 2.7 (testattu ainoastaan 2.7:lla, voi toimia vanhemmillakin 
   versioilla)
 * Scrapy 0.12 (Python-paketti)

Valinnaiset:
 
 * R (testattu versioilla 2.12.1 ja 2.13)
 * ggplot2 (R-paketti)
 * plyr (R-paketti)
 * googleVis (R-paketti)

2. Käyttö

2.1 Windows

Vaaliraapijaa ei ole testattu Windows-koneella, mutta periaatteessa pitäisi
toimia.

2.2 Unix

Ohjelma on testattu 32-bittisellä (Fedora 14) ja 64-bittisellä (OpenSUSE 11.4)
asennuksilla.

Projektin juuressa (vaalirahoitus-kansio) on run-skripti, joka kutsuu Scrapya
tarvittavilla parametreillä, tallentaa tulokset aineisto-kansioon ja kirjaa syötteen lokitiedostoon.

2.3 Mac

Vaaliraapijaa ei ole testattu Mac-koneella.