yifan-chen-2020

我也存在同样的问题，使用v1和v2，lora和ptuning尝试不同的参数，但是在loss和官方的ptuning loss差不多的时候evaluation f1差了40个点[ChatGLM](https://github.com/THUDM/ChatGLM-6B)

> @yifan-chen-2020 请问用的什么数据集呢 ##UPDATE: 更新到最新的代码后好了，看起来和上周更新的代码有关，可能是哪里的bug？@hiyouga 你好，私有数据集，不方便公开，但是数据格式可以简述下： 输入（prompt）：prompt加网页文本，按照block分段，每个block对应一个text (x为数字的序号) (input)：空 输出(response)：json格式，key为网页中的实体标签，value位为对应的 目前还在debug看有什么问题，也是存在loss很低，但训练集和测试集表现很差，看起来输出是正常的json，但是key少提取了很多

> 多卡时候打开 evaluation 确实会报错。 你可以去掉之前的 autocast，尝试一下这个解决方案： > > https://github.com/hiyouga/ChatGLM-Efficient-Tuning/blob/4c5717cb2c511a34a46e6ea6514d07c4c3cfe60c/src/utils/common.py#L248 > > 1. 在 _init_adapater 前面加一句 model = model.half() > 2. 然后训练时不添加 fp16 参数 试了下确实跑起来没有error，但看起来指标不太对，我先检查问题在哪...和我之前用另一个开源repo调的结果差距很大

这个issue先close吧，看起来改了后指标和单卡能对上，应该解决了这个问题本身，只是可能存在其他数据处理的问题导致我的指标低