nb_http_client
nb_http_client copied to clipboard
ydf0509
程序出错
那应该使用那个版本？
高版本的selieum去掉了phantomjs支持了，这些报错就算你看不懂英文报错提示，你复制到百度 google网上很容易搜索的
这个api接口有没有说明文档，设置代理，设置header，cookie，有没有requests.session功能
cookie session 代理ip，自己去看http模块需要，这只举例性能。
代理ip一看你就是爬虫了，那cpu速度就不是最关键的了，你能对第三方网站每秒爬3000次吗不反扒吗？如果你无法自己学习python内置的http模块的用法，那就老老实实用requests爬虫就好了。
我这个主要是针对公司内部的http api调用，没有反扒和代理。
明白了，cookie可以设置在headers中，使用代理ip可以无限制爬取，使用golang测试可以对网站做到每秒1w次，但是golang的http请求不稳定，线程多开还没python好
看到你的自动收缩最强多线程后，没有去分析你的代码，还以为都是用C/C++编写的，我不知道还有底层的http网络请求，是我学识太浅薄了
这是从三方包requests调用urllib3，urllib3调用http分析得到的，并不是偶然看了谁写的文章才知道http模块。
看到你的自动收缩最强多线程后，没有去分析你的代码，还以为都是用C/C++编写的，我不知道还有底层的http网络请求，是我学识太浅薄了
你都爬虫了，还能一秒钟使用1万次代理吗？1秒钟100次算是非常牛逼的代理了。
隧道代理，动态中转，请求无限制，入口ip固定不变，出口IP随机，每次请求都不一样，配置足够可以百万并发
不可能的，阿布云就是隧道代理，每秒100次的套餐高达10万元年费，每秒5次的3600元年费。每秒100万次年费得需要10亿人民币，你有这么多钱？
https://www.lunaproxy.com/ https://www.bright.cn/ https://www.luminatidaili.com/ 这几个了解一下，按流量收费的