使用特斯拉显卡运行报错

[huyushao521]

File "c:\users)AdministratorlDesktop)MoSS)mosscli-demo.py", line 73, in main inputs.input_ids.cuda(),

[alin995]

具体是什么错误？cuda 是什么版本的？

[akdcelcopr77]

我用两张Tesla P40，报错： RuntimeError: "LayerNormKernelImpl" not implemented for 'Half' 我知道我的P40不支持半精度。 有没有其他的方法，让模型跑起来。

[alin995]

修改dtype moss_inference.py line:112 model = load_checkpoint_and_dispatch( raw_model, raw_model_dir, device_map="auto" if not device_map else device_map, no_split_module_classes=["MossBlock"], dtype=torch.float16 )

[shisan]

我用两张Tesla P40，报错： RuntimeError: "LayerNormKernelImpl" not implemented for 'Half' 我知道我的P40不支持半精度。 有没有其他的方法，让模型跑起来。

我2块p40上跑FP16，正常的。