bisheng
bisheng copied to clipboard
当进行批量接口调用时,平台出现崩溃、卡死问题,长时间运行后,处理性能急剧下降
使用接口调用某个技能时,当进行批量调用时,平台界面响应时间变长
长时间运行后,处理性能下降,处理每一条的时间从几十秒变为几十分钟
再次调用平台技能接口,5分钟后超时返回
重启毕昇平台容器后,批量处理速度回复正常,但平台页面响应时间仍为10s以上
可以截图下技能都有哪些组件,或者把技能的json文件上传下。批量时如果技能有耗时的操作是会占用所有的处理线程,临时解决方案是提供workers的数量
可以截图下技能都有哪些组件,或者把技能的json文件上传下。批量时如果技能有耗时的操作是会占用所有的处理线程,临时解决方案是提供workers的数量
技能方面就是一个简单的LLMChain,model,prompt,这个三个组件,用的时本地的qwen1.5-14b
可以截图下技能都有哪些组件,或者把技能的json文件上传下。批量时如果技能有耗时的操作是会占用所有的处理线程,临时解决方案是提供workers的数量
修改workers的数量必须启动新的容器吗,现有容器我们修改了依赖的版本
不用修改容器,修改下容器的启动命令即可,backend容器启动有--workers参数可以配置启动多少个进程来处理请求