dirmap
dirmap copied to clipboard
[爬虫模式]内存消耗大
trafficstars
尝试了爬虫模式,太吃内存了。
@printerr 爬取到的目标网站url越多,动态生成的字典越大,造成了占用大量内存的问题。暂无解决方案。
我尝试用在函数responseHandler 里面使用 gc.collect,能缓解一些