代理需求征集和API改进 #432

Open
code4craft opened this Issue Dec 25, 2016 · 6 comments

Projects

None yet

6 participants

@code4craft
Owner
code4craft commented Dec 25, 2016 edited

之前的API设计并不是好用,想重新设计一套。

@code4craft code4craft changed the title from 新版代理API to 代理需求征集和API改进 Dec 25, 2016
@virjar
virjar commented Dec 25, 2016

增加上线下线功能,IP一直失败到达一定程度就从IP池移除。IP数据少于一定程度自动引入IP。
IP切换方式似乎可以灵敏一点,失败越多罚时越重。

之前的IP池的确不好用,所以我又尝试设计IP池,部分代码也从webMagic那边抄过来的。目前我个人设计的IP池似乎已经达到了比较好的效果,http://git.oschina.net/virjar/proxyipcenter/blob/master/doc/client/design/README.md
链接是我个人的IP池的实现,主要是实现更好的根据优先级切换的效果。个人使用不错,所以分享出来,希望对webMagic新的代理API设计有些帮助

@jsbd
Contributor
jsbd commented Dec 27, 2016
@xiamaoxuan

webmagic6的代理池里面的API描述不是很明确,List<String[]> String[]里面具体给什么没有例子

@code4craft
Owner

文档已修复。

@code4craft code4craft added this to the WebMagic-0.6.1 milestone Jan 8, 2017
@chenshao0594

不是随机的选择一个代理 然后再加上这个时间的处理?

@kkkaaa2010

SimpleProxyPool这个代理池例子每次都随机download页面都随机调取一个代理ip。那如果这个代理ip失效还会调用吗?而且代理池里的ip是固定的,不能动态添加代理吧。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment