webmagic icon indicating copy to clipboard operation
webmagic copied to clipboard

Published 20 hours ago • verified publisher icon code4craft

在HashSetDuplicateRemover这个类里，如果先对url做一个md5的hash，再保存到hashset里去重，是不是能节省很多内存？

Open yuweiming2016 opened this issue 4 years ago • 1 comments

在HashSetDuplicateRemover这个类里，如果先对url做一个md5的hash，再保存到hashset里去重，是不是能节省很多内存？

可以考虑下

yuweiming2016 avatar Jan 16 '21 02:01 yuweiming2016

这=用时间换空间

lvdalian avatar Oct 22 '21 11:10 lvdalian