可以支持 batch inference 吗？

[lemuria-wchen]

我看到，train.py 里面用的是 Trainner 而不是 Seq2SeqTrainer，这样导致了无法直接在 train.py 中对测试集进行 多卡并行的 推理。

给出的 inference.py 是单卡 batch size 为1 的推理代码。

如果希望可以支持 多卡 且 batch size 大于 1 的快速推理，请问有什么解决方案吗？