bisheng icon indicating copy to clipboard operation
bisheng copied to clipboard

当进行批量接口调用时,平台出现崩溃、卡死问题,长时间运行后,处理性能急剧下降

Open g9420 opened this issue 1 year ago • 4 comments

使用接口调用某个技能时,当进行批量调用时,平台界面响应时间变长 c5afa9049a32c6057a2f0dee9abcc29 长时间运行后,处理性能下降,处理每一条的时间从几十秒变为几十分钟 image 再次调用平台技能接口,5分钟后超时返回

重启毕昇平台容器后,批量处理速度回复正常,但平台页面响应时间仍为10s以上

g9420 avatar Jul 03 '24 10:07 g9420

可以截图下技能都有哪些组件,或者把技能的json文件上传下。批量时如果技能有耗时的操作是会占用所有的处理线程,临时解决方案是提供workers的数量

zgqgit avatar Jul 03 '24 11:07 zgqgit

可以截图下技能都有哪些组件,或者把技能的json文件上传下。批量时如果技能有耗时的操作是会占用所有的处理线程,临时解决方案是提供workers的数量

技能方面就是一个简单的LLMChain,model,prompt,这个三个组件,用的时本地的qwen1.5-14b

g9420 avatar Jul 04 '24 02:07 g9420

可以截图下技能都有哪些组件,或者把技能的json文件上传下。批量时如果技能有耗时的操作是会占用所有的处理线程,临时解决方案是提供workers的数量

修改workers的数量必须启动新的容器吗,现有容器我们修改了依赖的版本

g9420 avatar Jul 04 '24 02:07 g9420

不用修改容器,修改下容器的启动命令即可,backend容器启动有--workers参数可以配置启动多少个进程来处理请求

zgqgit avatar Jul 05 '24 03:07 zgqgit