Bai Tian

PRE_SEN_LEN = save_prefixencoder

@ > 我的也是这样，基本上原有的知识都遗忘了； 另外，你训练的PRE_SEN_LEN，学习率设置的多少？训练了多少步？loss最终下降到多少？ 我就是按照sample给出的样式训练的，只是修改了最大输入和最大输出，3000 loss 4.xxx

> > > > 我训练出来也是4.0左右，这个值是不是有点高啊，我感觉应该下降到0.XXX是不是才比较合理？ 训完之后，除了服装的问题，其他的问题都回答不了了。。 因为我的硬件不行，我量化到了4位，不知道跟这个是否有关系？ > 4.xx 是 百分之4 > 另外PRE_SEN_LEN 这个长度是不是input的最大长度，如果超过这个，input就会被截断？不知道理解的是否正确？ 不是

> 模型 Pt的时候 会出现这个错误： > > PRE_SEN_LEN = save_prefixencoder > > 我理解pre_seq_len不只是save_prefixencoder，pre_seq_len的用处有多个地方： 1、save_prefixencoder=model_args.pre_seq_len is not None save_prefixencoder只是一个标志位，是个bool，将来使用的地方，根据这个标志来决定是存储所有参数（全量微调）还是前缀部分参数（ptuningv2）； 2、真正使用pre_seq_len的值的地方： if self.pre_seq_len is not None: for param in self.parameters(): param.requires_grad = False...

我跟你是相同的问题，效果也一样，用f16的模型没问题，但是用量化后的 q4的模型就是这个情况

不好用呀