简单分布式多进程爬虫

简单分布式爬虫项目，该项目，分布式采用简单的主从模式，采用分布式进程和进程间的通信，同时，涵盖了普通爬虫应有的几个模块，URL管理模块，Html解析模块，Html下载模块，数据存储模块，爬虫调度模块

基金爬虫

This is a demo for crawling the website 'http://fund.eastmoney.com/fund.html' at this demo you can learn how to use the selenium,beautifulsoup,sqlacheme,process,and manager modules

豆瓣模拟登陆人工打码自动顶贴

the robot for the douban comment

多线程整站下载pdf和dwg文件

the crawler for the website http://www.jameshardie.co.nz/specifiers/cad-library

appapi数据获取批量入库

the crawler for the app api

钉钉数据同步多线程更新入库

the auto crawler for dingding data

使用selnium+chrome+asyncio+aiohttp多进程异步抓取今日头条整站数据

今日头条整站数据

使用selnium+chrome抓取淘宝大家问的评论数据

淘宝商品大家问的评论数据

使用selnium+chrome抓取商品阿里试用报告的数据

阿里试用报告的用户评分及其他数据

post提交json参数分页抓取区块链交易记录

稍微改造可以抓取整站需要抓取的交易记录