合并模型的时候报错

[Log4J-Ops]

请问在合并模型的时候报错ValueError: weight is on the meta device, we need a value to put in on cpu如何解决

[airaria]

我们本地测试暂时没遇到过这种错误。 是否和库的缺失有关？ 请确认是否安装了accelerate? pip install accelerate

[Log4J-Ops]

您好，accelerate已安装，请问这种情况是否可能是原模型参数中有指定？或者可能跟操作系统为Windows有关？因为在merge_llama_with_chinese_lora.py的参数里加载模型之前并未指定权重的位置

[airaria]

from_pretrained 中加上参数device_map="auto"试试呢

[sheerfish999]

同样有该错，谁解决了请提供解决办法

[Log4J-Ops]

同样有该错，谁解决了请提供解决办法

请问你是使用Windows系统运行的吗，或者是使用了huggingface上的开源llama模型，我猜遇到问题可能是这两个原因中的一个，后续有空我会去验证一下

[sheerfish999]

不 , 我是在linux测试环境, 我使用的是一个已经转换好的33个文件组成的 7b-hf 模型

[quanzhang2020]

同样的问题