需要在get_one_page函数里加个response.close()

[krookies]

def get_one_page(url):
try:
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.162 Safari/537.36'
}
response = requests.get(url, headers=headers)
if response.status_code == 200:
response.close()
return response.text
return None
except RequestException:
return None

[mrc321]

不加会怎样？

[krookies]

加上这个response.close()爬取速度会明显加快，不加的话，你的request请求不会立即关闭，容易被网站侦测出来，可以对比一下试试

[hikaruwin]

可不可以用上下文方式写，with requrests.get这种的