infer速度远远小于train期间infer val数据集的速度

Open jiahui-w opened this issue 8 months ago • 1 comments

以下是我train时的参数设置：

以下是我infer时的参数设置：

数据集的量大概为1.5w条，在train期间，infer完整的数据集大概需要1.5h，但是在infer的时候需要240h

感谢关注和解答！！！

Apr 25 '25 03:04 jiahui-w

正常的，训练时的验证采用的是forward，而不是generate

推理可以试试infer_backend vllm加速

Apr 25 '25 15:04 Jintao-Huang

正常的，训练时的验证采用的是forward，而不是generate

推理可以试试infer_backend vllm加速

那请问如何可以在训练时的验证中加入logprobs和top_logprobs呢？直接在swift train里面加参数吗

Oct 24 '25 06:10 LiXinYuECNU