No description, website, or topics provided.
Branch: master
Clone or download
Fetching latest commit…
Cannot retrieve the latest commit at this time.
Permalink
Type Name Latest commit message Commit time
Failed to load latest commit information.
LICENSE
README.md
test_proxy.py
zdy.py

README.md

squid 代理池搭建

简介

使用squid以及收费代理搭建爬虫代理池,自动获取最新可用代理并写入squid配置文件。

具体介绍及思路参考文章:自己搭建亿级爬虫IP代理池

运行

  1. 备份原始squid配置文件 cp /etc/squid/squid.conf /etc/squid/squid.conf
  2. 购买站大爷短效代理API,修改zdy.py,将api_url = 'http://s.zdaye.com/?api=YOUR_API&count=100&fitter=1&px=2'改为自己的api地址
  3. 运行zdy.py

检测

修改test_proxy.py中139.xxx.xxx.66:3188为自己的squid服务器地址,每次运行test_proxy.py都会有不同的ip,表明代理搭建成功。