在老的rtx3060、tesla M40、P40上能跑起来吗？

[jooze]

没有3090显卡，也没有A100显卡。。。。。目前有这几个显卡，也想跑这个模型

[yaoyi098]

P40 24G显存吧 应该能跑int8量化模型。

[zky001]

我试了int4模型，可以跑

[yaoyi098]

我这刚才在4090-24G上跑了int8模型 可以跑，单词对话占用内存再19G左右。