MrInouye

> 我参考chat方法改写成批量预测，但是发现生成结果可能受到padding的影响很大，导致胡乱生成，请问如何解决批量预测的问题，我尝试输入多个长度一样的输入，输出就完全正常，由此可知应该是padding的影响，我也尝试过左右不同位置padding，但是依旧没有解决，查看prepare_inputs_for_generation函数，也没有看出异常 自己改了一个批量生成的示例，没发现问题，可以参考下 https://github.com/MrInouye/baichuan-13b-chat-batch/tree/main

> 你好，请问基于Baichuan-13B-Chat模型可以使用batch进行批量调用吗？ 自己改了一个批量生成的示例 https://github.com/MrInouye/baichuan-13b-chat-batch/tree/main