Agregar parametro date_end a las spiders.

[matiskay]

Con el fin de comenzar a testear las spider #24 y para verificar que los datos corresponden a una fecha especifica sugiero agregar una variable extra llamada date_end.

scrapy crawl minedu -a date_start="2015-08-14" -a date_end="2015-08-16"

Esta variable va permitir crawlear paginas espeficas y ademas va permitir testar las spider puesto que los datos de una determinada fecha son invariantes.

[aniversarioperu]

buena idea

[matiskay]

El problema de tener parametros requeridos es que al momento de hacer testing de las spidera estos parametros van a ser requeridos. Sugiero que las spiders tengan una fecha de inicio y fin definida como la fecha donde se corre la spider y los parametros date_start y date_end sean opcionales.

[matiskay]

@aniversarioperu, para mi es mas natural usar dia-mes-año que usar año-mes-dia.

[matiskay]

Ademas de agregar el parametro end_date hay que agregar una condicional para no permitir que start_date > end_date.

[aniversarioperu]

creo que no sería bueno hacer hardcoding de las fechas. Tener los parámetros date_start y date_end nos dará bastante flexibilidad.

me parece haber visto una manera de usar los parametros en los tests de las spiders, pero no encuentro donde.

pero la fecha YYYY-MM-DD es del mismo formato del Python date object y es el estilo ISO.

[matiskay]

@aniversarioperu, bacan, hay que normalizar todo a YYYY-MM-DD.

[aniversarioperu]

el end_date puede ser opcional

[matiskay]

All the spiders now have the date_end parameter. It's time to close this issue and tackle #49.