需要在get_one_page函数里加个response.close()

[krookies]

def get_one_page(url): try: headers = { 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.162 Safari/537.36' } response = requests.get(url, headers=headers) if response.status_code == 200: response.close() return response.text return None except RequestException: return None

[mrc321]

不加会怎样？

[krookies]

加上这个response.close()爬取速度会明显加快，不加的话，你的request请求不会立即关闭，容易被网站侦测出来，可以对比一下试试

[hikaruwin]

可不可以用上下文方式写，with requrests.get这种的