scrapy_for_zh_wiki icon indicating copy to clipboard operation
scrapy_for_zh_wiki copied to clipboard

Published 20 hours ago • verified publisher icon wjn1996

提出一点建议

Open InFiNiTeemo opened this issue 2 years ago • 2 comments

按代码逻辑来看是dfs而不是bfs，同时用全局队列会导致同一个页面被访问多次， 改了以后速度从 0.3page/1s -> 8page/1s

InFiNiTeemo avatar May 07 '22 09:05 InFiNiTeemo

作者可能需要队列为空来表示结束， 可以舍弃掉这个队列设计， 用signal来结束。 同时一些简单的优化，比如set代替list来提高速度

InFiNiTeemo avatar May 07 '22 09:05 InFiNiTeemo

您好，欢迎提出PR

wjn1996 avatar May 07 '22 13:05 wjn1996