高并发输出不稳定

[GavinZhao19]

我写了prompt，要求输出按照某种固定格式，prompt提供了推理。在chatglm2低并发的时候比较稳定，随着并发越高，格式就很飘。然后测试了并发从2到40，loss的差异很大。然后想着调整frequency_penalty和 temperature测试，发现调整都会影响，不太好估计是具体哪个参数怎么影响。想要了解下高并发的情况下，参数如何设置建议，可以保证输出比较稳定。

[hiworldwzj]

因为就目前的测试来看，其他推理框架有时也有类似的现象。还需要定位是不是算子方面带来的精度问题。这个会提升优先级来分析。

[hiworldwzj]

@GavinZhao19 解决了一些丢token的问题，输出变化的问题还在继续研究 #216

[GavinZhao19]

@GavinZhao19 解决了一些丢token的问题，输出变化的问题还在继续研究 #216

非常感谢👍持续关注

[hiworldwzj]

@GavinZhao19 最近定位到了最本质的问题，是一些算子在某些场景下会有一些精度误差。但是如果结果变化剧烈，可能模型本生的鲁棒性也有一定问题。