Skip to content

🐸 To scrape from Stack Exchange

License

Notifications You must be signed in to change notification settings

nebil/scrape-exchange

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

18 Commits
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

ScrapeExchange

El objetivo de este script es obtener el id del usuario más reciente, en cualquier sitio relativo a Stack Exchange.

Receta

Ingredientes

🐍 Python será nuestra herramienta de trabajo.
⚠️ Para evitar posibles fallas de compatibilidad, se deberá usar una versión de Python superior a 3.2.

Librerías de Python

Las librerías utilizadas están resumidas en la siguiente tabla.

Nombre Descripción Versión
requests Una librería para generar solicitudes HTTP. 2.9.1
beautifulsoup4 Una librería para realizar web scraping. 4.4.1

Estas librerías también aparecen en requirements.txt. Luego, se deberá usar este archivo para instalarlas con pip.
Esto nos permitirá trabajar con las mismas versiones, consiguiendo instalaciones replicables, sin hacer esfuerzo.
Bueno, un poco: debemos escribir...

$ pip install -r requirements.txt

En efecto, esto es... as easy as py. 😀

Preparación

Para utilizar este script, debes seguir los siguientes pasos.

  1. 🐑 Clona el repositorio. Luego, accede.

    $ git clone https://github.com/nebil/scrape-exchange.git
    $ cd scrape-exchange
  2. 🔧 Genera un entorno virtual de Python v3.X con virtualenv. En este caso, se llamará venv.
    No olvides que X debe ser: {2, 3, 4, 5}.

    $ virtualenv --python=python3.X venv
  3. ▶️ Activa el entorno virtual.

    $ source venv/bin/activate
  4. ✅ Instala las dependencias con pip.

    $ pip install -r requirements.txt
  5. 🐍 Ejecuta el script, escribiendo el nombre de algún sitio. Por ejemplo, busca para french.

    $ python3 scrape.py --site french
  6. 🎉 Voilà, mon camarade!
    Ahora conoces el número de usuarios registrados en 🇫🇷.

ProTip™

Si no escribes ninguna opción, este script te entregará todos los sitios.
Es decir, para recibir todos los sitios con su respectiva cantidad de usuarios, sólo debes escribir...

$ python3 scrape.py

🚰 Muy bien. Ahora, ve a buscar un vaso de agua.
✨ Al volver, una flamante tabla te estará esperando.

Ayuda

Además, puedes pedir (algo de) ayuda al escribir...

$ python3 scrape.py --help

Licencia

Copyright © 2016, Nebil Kawas García
El código de este repositorio está bajo el Mozilla Public License v2.0.