BELLE icon indicating copy to clipboard operation
BELLE copied to clipboard

Published 20 hours ago • verified publisher icon LianjiaTech

belle_7b模型多卡推理结果不对，单卡推理正常

Open Crystalxd opened this issue 1 year ago • 2 comments

20230412-104934 8卡4090推理结果（双卡及以上都是这种乱码的形式）

20230412-105054 单卡4090推理结果

以上是使用CUDA_VISIBLE_DEVICES控制卡的数量

请问有可能是什么原因造成的呢？

Crystalxd avatar Apr 12 '23 02:04 Crystalxd

推理代码是根据generate.py改的么

nullgogo avatar Apr 14 '23 10:04 nullgogo

是直接使用https://huggingface.co/BelleGroup/BELLE-7B-2M 里面的推理代码 AutoModelForCausalLM.from_pretrained(model_path)增加了device_map='auto'参数

Crystalxd avatar Apr 15 '23 07:04 Crystalxd