多线程不同模型同时推理，注意

[GitHub-LTQ]

通过接口方式模型A、模型B、...同时推理语音有什么需要注意的呢。 大佬们有啥好的建议或者思路

[wavetao2010]

我遇到过这个问题。你的模型ABC应该都是同时初始化了吧，放在GPU中，这个时候如果多线程同时推理，老是会遇到不可知的错误，例如，吞字、重复、Prompt进入结果等等混乱的错误。我现在在尝试分割GPU，给每个模型分配独立的显存，看能否解决这个问题。

[ZhangJianBeiJing]

好问题，mark

[wavetao2010]

这边已经尝试解决这个问题，在可以部署多个服务在同一个服务器上，然后每个服务只加载一个音色通过环境变量进行控制即可，可以比较好解决多模型同时推理的问题。