mqy1023 / python3_spider_mine Public

Notifications You must be signed in to change notification settings
Fork 0
Star 3

csdn论坛、安智市场、京东详情页、b站滑动验证码登录、糗事百科、视频下载

3 stars 0 forks Branches Tags Activity

Notifications

Name		Name	Last commit message	Last commit date
Latest commit History 15 Commits
anzhi_selenium_spider		anzhi_selenium_spider
bilibili_slenium_login		bilibili_slenium_login
csdn_spider		csdn_spider
jd_selenium_spider		jd_selenium_spider
lagou		lagou
qiushibaike		qiushibaike
video		video
README.md		README.md

Repository files navigation

python3_spider_mine

《一》、python爬虫的例子

一、爬取csdn论坛数据`csdn_spider`

二、爬取安智应用市场的数据`anzhi_selenium_spider`

peewee + selenium + chromedriver

三、京东某个商品详情页的数据`jd_selenium_spider`

peewee + selenium + chromedriver

四、b站滑动验证码，自动识别登录(2020-06-07)`bilibili_slenium_login`

五、使用scrapy爬取糗事百科(2020-06-08)`qiushibaike`

六、通过CrawlSpider对拉勾网站进行整站爬取(2020-06-09) `lagou`

七、线程池下载资源网的视频资源(2020-06-13) `video`

《二》、基础知识

一、区分动态和静态网页

打开网页的源代码(view-source:http://xxx.com)，复制需要爬的元素，查看source源码中是否有该元素，没有的话说明这个元素是动态加载的

二、免费代理ip网站

https://www.zdaye.com/dayProxy/ip/321750.html 站大爷

https://www.xicidaili.com/nn/8 高匿代理IP

三、收费代理ip网站

阿布云

About

csdn论坛、安智市场、京东详情页、b站滑动验证码登录、糗事百科、视频下载

Report repository

Releases

No releases published

Packages

No packages published

Languages