Skip to content

RickCao-2017/baidu_qx

 
 

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

3 Commits
 
 
 
 
 
 
 
 
 
 

Repository files navigation

百度迁徙python爬虫

爬取百度迁徙数据,分为3个类型:城市,省份,全国

问题描述:

使用python爬取百度迁徙平台:http://qianxi.baidu.com/ 中人口流动数据,根据所需类型取消注释相应代码即可。 爬取内容将会以 Excel文件形式 保存在代码根目录中的move_inmove_out文件夹

使用须知:

  1. 路径:使用前请修改绝对路径

  2. 日期:请在【migration_all_date】函数中修改日期(注意,左区间包含,右区间不包含)

  3. 城市区间:由于爬取的时候没有设置异步操作,所以一次性爬取城市过多的情况下会导致时间超时(time_out), 因此建议分区间爬取,可以复制多个源程序文件,同时开启多次不同区间的爬取

  4. 运行:确保上述信息无误之后直接运行main.py文件即可

所需的python包

  • requests
  • xlwt

已爬取的数据

About

爬取百度迁徙数据,分为3个类型:城市,省份,全国

Resources

Stars

Watchers

Forks

Packages

No packages published

Languages

  • Python 100.0%