______ _____
|_ \ / _|
| |\ \ / /| | _____ _____
| | \ \__/ / | | / _ \ / ____\
_| |_ \____/ _| |_ | |_| | | ____ |
|_____| |_____| \_____/ \_____|
萌萌哒的java 爬虫专用 httpclient
由于OKHttpclient 在执行301重定向的中间过程,cookie没有被保存,这回导致爬虫请求丢失cookie。
moehttpclient基于okhttpclient,对此进行了修正。
- 0.0.1 采用了okhttpclient
<dependency>
<groupId>com.github.timeloveboy</groupId>
<artifactId>moehttpclient</artifactId>
<version>0.0.1</version>
</dependency>
参考test目录示例代码
- httpclient 函数
-
httpclient对象包含一个简单的cookie storage
-
.execute() 加载MoeHttpClient的cookie,发送(禁止重定向的)请求,并返回response
-
.execute_andsavecookies() 加载MoeHttpClient的cookie,发送(禁止重定向的)请求,自动保存set-cookie,并返回response
-
.execute_andsavecookies_location() 加载MoeHttpClient的cookie,发送(禁止重定向的)请求,自动保存set-cookie,自动重定向,并返回response
-
MoeHttpClient gab=new MoeHttpClient();
Response res_index=gab.GET("https://.../m/login").execute();
String url_captche="https://.../sso/captcha?nocache="+(new Date().getTime());
Response res_captcha=gab.GET(url_captche).execute_andsavecookies();
Response res_captcha=gab.GET(url_captche).execute_andsavecookies_location();