cnblogSpider
cnblogSpider copied to clipboard
基于nodejs 的博客园爬虫项目
setTimeout(function() { curCount--; callback(null,url +'Call back content'); }, delay); 你的delay不能保证最后的请求就成功了;或者假设每个请求时间都耗时很长,最后async.mapLimit并发执行完成回调的时候,其实一个请求也没返回
请问你是如何定位为什么会重复跳到首页的问题呢,然后只能通过传这些来达到请求成功{"CategoryType":"SiteHome","ParentCategoryId":0,"CategoryId":808,"PageIndex":6,"TotalPostCount":4000,"ItemListActionName":"PostList"}, 因为我在浏览器的输入栏那里确实是会跳的
在执行时,出现响应值为undefined,console.log(err)显示为: { [Error: connect ECONNREFUSED 42.121.252.58:80] code: 'ECONNREFUSED', errno: 'ECONNREFUSED', syscall: 'connect', address: '42.121.252.58', port: 80, response: undefined } 试着用http://localhost:3000/,127.0.0.1:3000,和本机的IP地址访问,都是这个结果,但是ping 127.0.0.1能ping通。
没反应,怎么解决
执行index.js后一直没反应,也没报错,???