Qwen icon indicating copy to clipboard operation
Qwen copied to clipboard

官方推理脚本和模型文件中的pad_token不一致

Open DemingCheng opened this issue 6 months ago • 0 comments

请问官方的推理脚本里的pad_token是'<|extra_0|>',模型文件中的pad_token是"<|endoftext|>",跑推理时是否需要对齐? image image

DemingCheng avatar Aug 07 '24 07:08 DemingCheng