YutongWang
Results
1
comments of
YutongWang
@txsun1997 非常感谢您的解答 我这边想要做是将两个int8模型加载到两张显卡上做并行推理，代码中需要设置两个模型的具体加载位置。个人理解的话，更像是把两个模型分别去做单卡部署，如果通过修改环境变量设置部署位置，可能会存在多个程序相互影响的情况。 Anyway，期待后续版本的迭代优化！