非常好的东西,能监控爬虫的效率就更好了

[gameboyring]

点log查看有点麻烦.. 有大神指点指点吗

[banyiluoyun]

个人拙见，建议学习分布式部署的方式，建立url表，采取队列形式，正经返回值就入redis中，不是需要的返回值就进入其他库，再对两个库进行统计分析。