Skip to content

fendouai/spider_news_gov

 
 

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

1 Commit
 
 
 
 
 
 
 
 

Repository files navigation

##README


  • 当前的settings.py经过调试相对比较稳定,不要轻易修改!!!
  • FTChinese由于网站本身不太稳定,当Parse News ERROR比较多时,可以开VPN,效果比较好
  • 当前,所有爬虫增量抓取的开关已经打开,如果需要,可以手动关闭,/spiders/NewsFinance***.py文件的FLAG_INTERRUPT = True常量
  • 默认只读区小于500KB的PDF河WORD文档内容
  • WORD文档的读区只支持windows平台
  • 如果有问题,可以QQ留言或者发邮件沟通hailong0707@gmail.com

About

Scrapy Spider for 中国发展改革委员会

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages

  • Python 100.0%