xtuner icon indicating copy to clipboard operation
xtuner copied to clipboard

deepseek v2 lite 模型 convert 时 print_on_rank0() 报错

Open FlyCarrot opened this issue 1 year ago • 0 comments

如题,moe模型 convert的时候有 xtuner/xtuner/utils/handle_moe_load_and_save.py 参与 其中的 print_on_rank0 函数有

def print_on_rank0(info):
    if dist.get_rank() == 0:
        print_log(info, 'current')

涉及多卡初始化,但是convert的时候实际没有多卡初始化,因此会报错。 建议修改一下代码,区分一下convert时直接print而不是判断rank

FlyCarrot avatar Jul 29 '24 06:07 FlyCarrot