beyondguo

你打印一下 `print(model.hf_device_map)` 看看具体layer是怎么分配的（先确保你加载模型的时候使用的是 device_map="auto"）。

每个模型结构可能会有不一样，代码应该需要小的改动。近期我抽空调试一下

训练比推理消耗的显存肯定更大很多，只能试试降低batch，或者开启量化之类的操作了。

这个好像是个accelerate包的一些问题，你可以先自行查阅一下，比如https://discuss.huggingface.co/t/meta-device-error-while-instantiating-model/33402 另外你使用的各种包的版本跟我的一致吗？你的device是什么？

暂时还没支持这个

`PefModel`类中有一个`merge_and_unload`函数，可以先试试。

pytorch版本？

奇怪，但我使用的torch2.0

https://github.com/beyondguo/LLM-Tuning/issues/8

跟你微调的数据关系很大，你用的啥数据微调的？