LLADA支持batch推理吗

[duterscmy]

为什么推理脚本默认每次只推理一个样本，请问是算法逻辑不支持batch推理吗？

[duterscmy]

看到其他diffusion LLM的工作，比如diffullama是支持batch inference的，请问有什么区别吗

[Kamichanw]

支持啊，只是作者没写而已

[Haohao378]

需要自己花费一下心思改一下generate函数。

[ZHZisZZ]

@duterscmy

你好，dllm 为LLaDA提供了微调和batch推理的脚本，可以参考一下！

[nieshenx]

感谢关注！LLaDA原理上是支持的，需要修改一下模型文件支持attention mask输入和generate函数。我们会在近期release相关代码。