Fengyh

the version of xxx-hf is for huggingface transformers, so if you want to use TencentPretrain to do this job, you should choose the tencentpretrain version, for example, https://huggingface.co/Linly-AI/Chinese-LLaMA-7B

i guess your --pretrained_model_path is not right, it should be set to specific .bin file, which is xxx/chinese_llama_7b.bin

hf版本的应该可以哈

首先13B模型不需要用到8张卡，一张就够了。其次是卡越多，通信耗时会越大，所以会比较慢。建议如果是要跑大batch的时候尝试多卡，否则A100的话单卡就够了。单卡13B fp16占用27G显存。

已经重启

请问bitsandbytes是什么版本的？

你描述的这一段log好像并不是报错

参考主页readme的模型下载哈

你好，请问能不能提供更多的信息来帮助你解决呢？

config文件可以在tencentpretrain里面找到，然后tokenizer.model是一样的。