xtuner
xtuner copied to clipboard
deepseek v2 lite 模型 convert 时 print_on_rank0() 报错
如题,moe模型 convert的时候有 xtuner/xtuner/utils/handle_moe_load_and_save.py 参与 其中的 print_on_rank0 函数有
def print_on_rank0(info):
if dist.get_rank() == 0:
print_log(info, 'current')
涉及多卡初始化,但是convert的时候实际没有多卡初始化,因此会报错。 建议修改一下代码,区分一下convert时直接print而不是判断rank