SearchEngine icon indicating copy to clipboard operation
SearchEngine copied to clipboard
verified publisher icon picone

同时使用redis和mongodb似乎没必要

Open linkerlin opened this issue 8 years ago • 1 comments

只用mongodb就足够好了吧？

linkerlin avatar Oct 17 '17 03:10 linkerlin

redis用来存放待爬虫的任务队列，另外一个作用是使用redis的SET数据类型避免队列里面有重复的url mongo用来存放爬虫回来的数据

picone avatar Oct 17 '17 06:10 picone