zlht812
Results
3
comments of
zlht812
> 换了另外的训练脚本和f16权重，可以了。原版的训练脚本不支持int 8
用的这个支持int8的lora：https://github.com/ssbuild/chatglm_finetuning 目前的情况是，lora训练完成，推理时，预训练模式使用f16，但使用int8方式加载。lora使用half()成功加载，但推理时，又报同样的错误。 推理用的预训练模型和训练lora用的一样,怀疑是lora()本身就是int8，所以去掉half(),结果显卡挂了：CUDA out of memory 等新服务器上线后，再测试下。
> 同问，RuntimeError: self and mat2 must have the same dtype 同样的问题