对于同一个问题，多条输出和单条输出答案不一致。

[J-G-Y]

System Info / 系統信息

11

Who can help? / 谁可以帮助到您？

No response

Information / 问题信息

• [X] The official example scripts / 官方的示例脚本
• [ ] My own modified scripts / 我自己修改的脚本和任务

Reproduction / 复现过程

111

Expected behavior / 期待表现

do_sample 关闭，这时候模型对于相同问题的每次输出应该是一致的，但是实际使用中，假设只推理该问题，那么每次会得到一致的输出，但是当多条推理时，也就是这条数据前有别的问题时，模型的输出发生了变化。为了消除历史数据的影响，已经将history手动置为空。求大神们解惑。