logan

@BAAI-OpenPlatform 求解

> 下载最新的模型参数又遇到这个错误了，能否给下你们最新模型的能fintune起来的环境详细信息， lib/python3.8/site-packages/bmtrain/parameter.py", line 79, in gather with torch.cuda.stream(config['load_stream']): > > CUDA_VISIBLE_DEVICES=4,5,6 TRANSFORMERS_CACHE=${cache_dir} HF_MODULES_CACHE=${cache_dir} python $SCRIPT_FILE --not_call_launch $OPTS > > 减少batch-size 可以全参数微调，但是lora似乎不兼容，会报这个错误

找到原因了： lib/python3.9/site-packages/flagai/model/tools/lora/prepare_lora.py:37 注释掉就好了。

可见这两行代码是真的没有测过。

你的torch、cuda版本不匹配，我是在torch2.0安装的，就没有这个问题了。

好像没有说解决方案就关了？

不用lora，微调以后，将最后一个step（数字结尾的文件夹里面的）这两个文件覆盖下载下来的文件仍然报错 -rw-rw-r-- 1 buyllm buyllm 2 6月 16 01:25 config.json -rw-rw-r-- 1 buyllm buyllm 14G 6月 16 01:24 pytorch_model.bin 用上诉方法加载，后仍然相同的错误 @BAAI-OpenPlatform

另外你们也没有文档说明，微调后的模型如何使用

一言难尽

@BAAI-OpenPlatform 这里有关注吗