Skip to content
Un repositorio para colocar scrapers del sitio web del parlamento.
Python
Branch: master
Clone or download
Fetching latest commit…
Cannot retrieve the latest commit at this time.
Permalink
Type Name Latest commit message Commit time
Failed to load latest commit information.
datos
scrapers
.gitignore
README.md
requerimientos.txt
run

README.md

Un repositorio de dominio publico donde tener codigo para extraer datos desde el sitio web del parlamento uruguayo. Datos que no cambian frecuentemente (como legisladores) estan en la carpeta datos del repositorio.

Inspirado en el trabajo que varias organizaciones estan haciendo en http://github.com/unitedstates/

#Configuracion del ambiente

En linux hay que instalar los siguientes paquetes

sudo apt-get install git python-virtualenv python-dev libxml2-dev libxslt1-dev

Se puede crear y activar una entorno virtual

virtualenv uruguay
source uruguay/bin/activate

Y luego instalar los paquetes (con entorno virtual o sin el)

pip install -r requerimientos.txt

Para levantar los datos

./run [--force] [otras opciones]

donde los scripts que tenemos hasta el momento son:

* senadores
* diputados

#Extraccion de datos de Legisladores*

###camara de senadores

Extraemos la informacion desde la pagina http://www.parlamento.gub.uy/GxEmule/IntcpoGrafico.asp?Fecha=21102013&Cuerpo=S&Integracion=S&Desde=15021985&Hasta=21102013&Dummy=21102013&TipoLeg=Tit&Orden=Legislador&Grafico=s&Integracion=S&Ejecutar+Consulta=Ejecutar+Consulta

###camara de representantes

Extraemos la informacion desde la pagina http://www.parlamento.gub.uy/GxEmule/IntcpoGrafico.asp?Fecha=21102013&Cuerpo=D&Integracion=S&Desde=15021985&Hasta=21102013&Dummy=21102013&TipoLeg=Tit&Orden=Legislador&Grafico=s&Integracion=S&Ejecutar+Consulta=Ejecutar+Consulta

Los campos para incluir en la consulta son:

Fecha=21102013 Cuerpo= S -> senadores D -> diputados Integracion=S Desde=15021985 Hasta=21102013 Dummy=21102013 TipoLeg=Tit Orden=Legislador Grafico=s Integracion=S Ejecutar+Consulta=Ejecutar+Consulta

#Importar json en mongodb

Si estas usando MongoDB para guardar los datos desde json (nosotros lo usamos en el API del parlamento), se puede importar:

 mongoimport -d parlamento --collection senadores --type json --file data/senadores.json --jsonArray
You can’t perform that action at this time.