webmagic 如何管理单个网站几百万的链接树

如何管理单个网站几百万的链接树

Open herbiehu opened this issue 4 years ago • 2 comments

尝试了使用sqlite进行链接存储，但是链接只能单个加入，是否可以增加批量加入urls， addRequest(request) 这里是不是可以有批量加入request？

Dec 17 '20 03:12 herbiehu

Dec 17 '20 05:12 Plume3362