Skip to content

RanchoCooper/Crawler

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

29 Commits
 
 
 
 
 
 
 
 
 
 

Repository files navigation

title date
领英爬虫
2016-08-04 18:33

获取用户主页链接

目录结构

Profile ├── index.json # 记录历史位置的数据文件 └── profile.py # 爬虫文件

BitMap └── bitmap.py # 支持位图索引

功能介绍

  • 自动续爬
  • 统一编码
  • 进度条显示

待完成功能

  • 多线程 + 工作队列模型
  • 完善代码风格(生成器的迭代优化)

About

No description, website, or topics provided.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages