infer的时候使用int8报错

[June-Li]

infer的时候（load_in_8bit=True）： expected scalar type Float but found Half

另外我怎么用int8和int4呢，我只有1080ti，显存不够； 多谢多谢！

[mymusise]

infer的时候（load_in_8bit=True）： expected scalar type Float but found Half

这个可以参考： https://github.com/mymusise/ChatGLM-Tuning/issues/19

另外我怎么用int8和int4呢，我只有1080ti，显存不够； 多谢多谢！

1080ti 可能比较难，我暂时还没掌握这种黑科技 (

建议上点钞能力

[June-Li]

infer的时候（load_in_8bit=True）： expected scalar type Float but found Half

这个可以参考： #19

另外我怎么用int8和int4呢，我只有1080ti，显存不够； 多谢多谢！

1080ti 可能比较难，我暂时还没掌握这种黑科技 (

建议上点钞能力

四张1080ti卡可以跑吗，模型能分卡导入吗？

[mymusise]

四张1080ti卡可以跑吗，模型能分卡导入吗？

Hi @June-Li , 项目目前还没试过多卡训练， 张量并行 / 流水线并行可能会有兼容问题