spider.browser 性能优化

[JackonYang]

单测 browser，0.4-0.6s/页面。 单测spider，0.6-0.8s/页面。

根据nload监控，下行流量稳定在1.2M/s左右。 friendList 40-50kb/页面，status 55-65kb/页面。 理论值，1.2*1024/55=22.34页面/s 理想情况，0.04s/页面

时间消耗包括：收到rsp和读取码流，单跑browser，每页面0.4. 前者时间消耗小于0.1. 原因及解决方案。

是否需要更换为java

[zmy]

会不会是本地数据读写慢的缘故？

[JackonYang]

这个时间是 browser._download() 方法中统计的单次请求/响应时间，不涉及本地读写的。

昨天晚上跑得速度好了很多。同时开了两个脚本，平均时间0.5s/页面。现在用的是2M联通，可能速度上有影响。 电信的要好一些。