李玺
李玺
1、“属性赋值时,属性名不能自动带出,也不能访问”是指没有代码提示吗,确实没有,不过能根据属性点进去。 2、没有proto文件的截图,看不出来。 这里的对象是指map还是object ,可根据网站中的参数类型复写。 3、protoc和protobuf版本是否对应,也可能proto文件有问题。
pycharm专业版,没用插件。 Proto文件没有问题,试试这个写法。 ` search_sort = pb.SearchService.SearchSort() search_sort.field = "1" search_sort.order = 0 search_request = pb.SearchService.CommonRequest() search_request.searchType = "paper" search_request.searchWord = "111" search_request.searchSort.CopyFrom(search_sort) ` 为啥只编译一半我也不清楚 = =
收到,麻烦提供一下当前运行环境,我这边测试一下。
尽管我们表达的不是一个概念。 我测试过。任务形式的线程的上下文切换速度是赶不上异步的。 只是在Python中这个区别看起来并不明显, 如果有兴趣的话可以换c 或者 go 再来测试二者区别 ------------------ 原始邮件 ------------------ 发件人: "lixi5338619/asyncpy" ***@***.***>; 发送时间: 2021年9月2日(星期四) 下午3:19 ***@***.***>; ***@***.***>; 主题: [lixi5338619/asyncpy] nb_http_client + 线程池 性能暴击 asyncio + aiohttp (#2) 线程池 + requests 390次每秒 线程池 +...
1、抱歉,你对爬虫的认识不够深,并不是发出请求就算爬虫了。如果单纯的为了速度,大可选择其他高效语言,为什么用python来做呢。我一直是以整个任务的执行流程描述的,那么下面我们只看请求效率。 2、我在强调的是线程、异步和协成,你在讲线程池和分布式。这根本就不是一个层级的问题。难道分布式调度只能用于线程池而不能配合异步任务来使用吗。 3、代码写法上只是定义了关键字而已,这也并不是拒绝使用的理由,越来越多的开源项目都在使用asyncio为编程模型。 4、 爬虫是否有必要使用某种请求库,完全是基于场景考虑的,除非爬取一些没有任何防护的麻瓜网站,可以让你尽情的提高速度。 5、看了你的测试代码... 你没有发挥异步并发的优势,其实也不是这么比较性能的,建议再阅读相关资料。 6、最后,我认为你是对的。希望能close问题,不要再回复了。因为每次回复我都需要花费时间看邮件,很耽误工作时间。 7、感谢你的提问和留言。
确实是这样,我之后会尝试进行测试,谢谢你的建议。
感谢您的建议,起初设计时是以单机实现最大性能为目的。 后续可以添加分布式调度,谢谢关注!
你好,很高兴能收到你的邮件。 1、直接 import settings,程序无法识别。 应该是根目录的问题,这里需要以项目名为根目录 2、 请求了下百度, 但是报错 3、 事件循环在完成之前停止.一般错误原因是因为任务发生阻塞。 但是代码没有问题,可能是asyncio库版本导致的。 无法请求https请求 这个是可以进行请求的,框架请求基于aiohttp 谢谢! ------------------ 原始邮件 ------------------ 发件人: "lixi5338619/asyncpy" ***@***.***>; 发送时间: 2021年8月5日(星期四) 晚上9:17 ***@***.***>; ***@***.***>; 主题: [lixi5338619/asyncpy] RuntimeError: Event loop stopped before Future completed...
> 我也出现了这样的错误,不知道是模块的问题还是python版本的,通过创建项目命令后的demo一直无法运行 非常感谢,麻烦您提供一下环境依赖,我测试一下
> > > 我也出现了这样的错误,不知道是模块的问题还是python版本的,通过创建项目命令后的demo一直无法运行 > > > > > > 非常感谢,您提供一下环境依赖,我测试一下 > > python3.7.6  感谢您的Issues,我用同环境同依赖成功复现了问题,发现异常是在程序结束时发生的,他不影响爬虫的运行。 最后经过定位找到异常产生在spider文件中的最后一行 self.loop.stop() 。  将其注释掉可以避免 RuntimeError: Event loop stopped before Future completed. 在3.7中出现这个问题的具体原因我需要再测试一下。