Vizcacha

Recolectores de precios de supermercados y otros catálogos usando Scrapy Framework.

Primero

Salvo el de Walmart, el resto de los scrapers estaban funcionando al menos hasta mediados de 2016. Dado que los scrapers dependen directamente de la estructura del sitio web posiblemente ahora (casi un año después) no funcionen correctamente.

Cuando vayas a ejecutar cada crawler chequeá antes su correspondiente settings.py, donde se determinan los límites de conexiones simultáneas, cantidad de requests por segundo, etc. Un request por segundo es una buena medida. Más que eso es vicio.

Crawlers

Todos supermercados online, salvo donde se aclara.

• Coto Digital
• Disco.com.ar
• Jumbo Supermercado Online
• Kairos Web (vademecum de medicamentos)
• Tu Alacena (agregador de precios de supermercados)
• Vea Digital
• Walmart Online

Requerimientos

• Git

• Python

• pip (Python Package Manager)

• Virtualenv (Python Virtual Environment Builder)

  # Para instalarlo
  pip install virtualenv

Instalación

• Cloná este repositorio

  git clone http://github.com/martjanz/vizcacha

• Entrá al directorio

  cd scrawls

• Creá y activá el entorno virtual Python

  virtualenv venv
  source venv/bin/activate

• Instalá dependencias

  pip install -r requirements.txt
  

Uso

Un ejemplo: para scrapear precios de Coto Digital a un archivo separado por comas (.csv).

# Si no tenés activado el entorno virtual...
source venv/bin/activate

# ...y luego
cd coto
scrapy crawl coto_articles -o ../coto.csv

Colaboraciones, a voluntad

Cualquier mejora o correción va a ser muy bienvenida. Para eso:

1. Hacé un fork de este repo.
2. Hacé commits (en tu repo) con los cambios.
3. Mandame un Pull Request con los cambios explicando qué cambiaste o agregaste.