SearchEngine

SearchEngine copied to clipboard

passerbyo

可以用waitgroup优化下

1

func (downloader *downloader) Stop() { //放入线程数量次的停止信号,等到无阻塞时说明爬虫线程都已经停止了 for i := 0; i < FETCH_THREAD_NUMBER; i++ { downloader.stopSignal

linkerlin

同时使用redis和mongodb似乎没必要

1

只用mongodb就足够好了吧？

linkerlin