ds_store_exp icon indicating copy to clipboard operation
ds_store_exp copied to clipboard

Published 20 hours ago • verified publisher icon lijiejie

一个无限循环下载的Bug

Open ldcr002 opened this issue 5 years ago • 0 comments

在使用这个脚本爬取一个目标网站的时候。发现脚本会无限循环爬取已经爬取过的目标。看了一下源代码。第40行是不是应该做如下修改？

if url in self.processed_url:  
    continue

ldcr002 avatar Jan 20 '20 03:01 ldcr002