并发量越大吞词的地方越多

[hezilon]

中英混合推理时，还是有比较严重的问题：并发量越大出错的地方越多，下面是我40个并发（每个时序段一个并发）的效果，好几个地方都吞词了；而且对英文词会概率性地读错，比如“GPT-4”，会读成“GPT”吞掉“4” 问题信息.zip

[hezilon]

对于这个问题，同样的文本，刚刚我又测试了一下，由一次40个并发改为每次10个并发、搞4次，效果确实会好很多

[Joy-word]

可以观察一下是推理前文本就不对了，还是推理中出现的问题。 我之前遇到的并发带来质量下降，有部分是推理前文本就串了。

[jiangyiqiao]

可以观察一下是推理前文本就不对了，还是推理中出现的问题。 我之前遇到的并发带来质量下降，有部分是推理前文本就串了。 同遇到并发带来质量下降，有部分是推理前文本就串了。请问有解决办法吗？

[Joy-word]

#885 里面有我遇到的一些问题，看是否有帮助。