hoshi-hiyouga

history 不会计算损失，但会加入到 input 中，只有 output 会计算损失

是的，你需要这样做

理论上也可以支持，但是更推荐手动改造成标准格式

单卡能正常运行吗？

提供一下 pytorch 和 accelerate 版本

不能直接加载 int4 模型，需要使用原版 fp16 模型和量化参数

--quantization_bit=4 和 --fp16 都要加

@yifan-chen-2020 请问用的什么数据集呢

@xiningnlp 没记错的话，我的代码在推理时候不需要指定 LoRA 和量化参数

请更新代码和 ChatGLM2 模型目录中的 .py 文件，并且添加 --fp16 参数后重试