dirmap icon indicating copy to clipboard operation
dirmap copied to clipboard

Published 20 hours ago • verified publisher icon H4ckForJob

[爬虫模式]内存消耗大

Open labixx21 opened this issue 6 years ago • 2 comments
trafficstars

尝试了爬虫模式，太吃内存了。

labixx21 avatar May 08 '19 07:05 labixx21

@printerr 爬取到的目标网站url越多，动态生成的字典越大，造成了占用大量内存的问题。暂无解决方案。

H4ckForJob avatar May 08 '19 13:05 H4ckForJob

我尝试用在函数responseHandler 里面使用 gc.collect，能缓解一些

trueblue-zone avatar Oct 13 '23 07:10 trueblue-zone