ydf0509

Results 110 comments of ydf0509

这个里面有测试源码,asyncio+aiohttp对比nb_http_client+线程池,asyncio速度只有60%左右,你别用requests对比aiohttp,requests是封装的造成cpu高,urllib3+线程池可以达到aiohttp+asyncio的80%,但是nb_http_client+线程池远远超过asyncio+aiohttp。asyncio异步造成代码写法难度高代码怪异,ptyhon爬虫没有必要用异步,不行我可以用 function-scheduling-distributed-framework 线程并发模式对比你的这个异步,请求百度的一个0.1 kb的js文件,看谁先请求完10万次,就知道分布式函数调度框架的线程池快还是你的异步快。

分布式函数调度框架,可一键选择多种并发模式,类似celery框架可以自动使用多种并发模式。

![image](https://user-images.githubusercontent.com/26890690/131821083-30f395a9-06db-4101-92cd-1990a6de7bc9.png) 既然能分布式就可以兼容单机单进程,没说一定要多台机器。是可以可以支持支持async def函数的,支持的是5种并发模式 线程 gevent eventlet asyncio。我只是说asyncio+aiohttp请求完成10万次没有nb_http_client+线程池时间短,我没说只是把10万个请求发出去,是要打印所有response确定完成响应了。 那你要做这个肯定必须出一个和scrapy精准对比的性能结论。

目前的还没兼容3.10.eventlet包不支持3.10,funboost需要修改才能支持3.10.funboost目前支持3.6-3.9

nb_log要以run方式启动,才能正确使用sys.path1,你第一次运行项目时候,使用run模式随便启动一下就好了,就会自动生成到项目根目录了。以后每次用调试模式就能自动import到配置文件了。首次运行项目不要以调试模式运行。 这不是什么大问题。主要是你要用正常run模式运行一下就好了。

你说的都是错的,nb_log_config_default和set_nb_log_config都是nb_log的源码,我怎么可能这么low,用户要修改源码。 用户只用关心修改 nb_log_config.py 就好了,不会要求用户修改nb_log的源码。

没有表达清楚,什么叫降级,一定要表达清楚

你数据量对不上是因为kafka宕机了?grafana可以监控kafka状态和消费堆积 要搞清楚是不是kafka集群宕机了

不可能有这种功能,自己把kafka做成集群就好了