FlagAI
FlagAI copied to clipboard
[Question]: chatAquila-7B怎么设置单机多卡部署
Description
如题
Alternatives
No response
得先把模型切片然后加载,我们近期会把这个功能加上去
请问这个啥时候能支持
https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-server/Aquila-multigpu-infer