[Feature] 请问ChatGLM-6B支持batch inference吗？

[pengqianyu]

Is your feature request related to a problem? Please describe.

请问ChatGLM-6B支持做batch inference吗？如果支持，请问怎么设置？谢谢！

Solutions

无

Additional context

No response

[AliscaCL]

同问，调查了一段时间了~

[hrdxwandg]

同问，请问model.generate能批量预测么，我这边试了下batch和单条结果不一致，问题出在pad上，请问有解决办法么？

[hrdxwandg]

同问，请问model.generate能批量预测么，我这边试了下batch和单条结果不一致，问题出在pad上，请问有解决办法么？

https://huggingface.co/THUDM/chatglm-6b/blob/main/test_modeling_chatglm.py#L120 这种方式可以

[wangschang]

同问，请问model.generate能批量预测么，我这边试了下batch和单条结果不一致，问题出在pad上，请问有解决办法么？

https://huggingface.co/THUDM/chatglm-6b/blob/main/test_modeling_chatglm.py#L120 这种方式可以

你们测试速度怎么样？我怎么看还没有循环速度快。显存24G

[terminator123]

同问，请问model.generate能批量预测么，我这边试了下batch和单条结果不一致，问题出在pad上，请问有解决办法么？

https://huggingface.co/THUDM/chatglm-6b/blob/main/test_modeling_chatglm.py#L120 这种方式可以

你们测试速度怎么样？我怎么看还没有循环速度快。显存24G

同问，我测下来几乎是成倍增加，预测结果是正常的

[terminator123]

transformer的generate方法 bs>1的时候，到底是串行还是并行啊