cnblogSpider
cnblogSpider copied to clipboard
并发的处理最后有点问题,不能保证async.mapLimit并发执行完成的时候请求都回来
setTimeout(function() {
curCount--;
callback(null,url +'Call back content');
}, delay);
你的delay不能保证最后的请求就成功了;或者假设每个请求时间都耗时很长,最后async.mapLimit并发执行完成回调的时候,其实一个请求也没返回