爬虫练习
-
解析百度网站
-
解析开源中国页面
- 翻页
- 处理url
-
动态代理网站
- 方法1：在文件夹中准备好可以使用的ip，每次访问前随机切换ip。这种方法比较简单，但是不能保证ip的稳定性，一旦准备好的ip失效，爬虫效率下降很快
- 方法2：从网上的代理ip网站上爬取ip，并通过ip测试来判断ip是否可以使用，保存起来
- 方法三：通过付费的方式来购买可用的稳定ip
三种: ps:ip测试地址:(http://1212.ip138.com/ic.asp)，抓取的ip和自己的ip相同时，代表代理ip失效,相反则保存到自己的代理ip库中