GitHub - shgongbo/g_weibo: 微博爬虫项目（工作）

Name		Name	Last commit message	Last commit date
Latest commit History 2 Commits
.idea		.idea
__pycache__		__pycache__
jiaoben		jiaoben
venv		venv
UserCrawler.py		UserCrawler.py
config.py		config.py
get_all_users_from_mongo.py		get_all_users_from_mongo.py
get_all_weibo_links.py		get_all_weibo_links.py
get_hostname.py		get_hostname.py
picture.py		picture.py
product_config.py		product_config.py
readme.txt		readme.txt
requirements.txt		requirements.txt
tools.py		tools.py
transfer_mongo_to_json.py		transfer_mongo_to_json.py
try_flask.py		try_flask.py
weibo_detail.py		weibo_detail.py
what.py		what.py
zhandaye.py		zhandaye.py
zhandaye_bak.py		zhandaye_bak.py
微博手机号.txt		微博手机号.txt

Repository files navigation

一共十二台机器
我的设计思路是：
一台机器负责爬用户，提供代理ip服务，提供mongo存储
二台机器负责搜集用户的微博链接

微博爬虫项目（工作）

No releases published

No packages published