ValueError: ChatGLMForConditionalGeneration does not support gradient checkpointing.

[yanqiangmiffy]

File "finetune.py", line 128, in main model.gradient_checkpointing_enable()

这个有问题大家有遇到吗

[yanqiangmiffy]

File "finetune.py", line 128, in main model.gradient_checkpointing_enable() File "/home/searchgpt/anaconda3/envs/chatglm/lib/python3.7/site-packages/transformers/modeling_utils.py", line 1584, in gradient_checkpointing_enable raise ValueError(f"{self.class.name} does not support gradient checkpointing.") ValueError: ChatGLMForConditionalGeneration does not support gradient checkpointing.

[yanqiangmiffy]

我替换官方的modeling_chatglm.py导致的报错，本仓库应该改动了一些代码，作者能解释下改动modeling_chatglm的目的是什么什么吗，或者改动了哪些具体地方。

我lora之后，发现用官方的modeling_chatglm效果明显要好

[bruceisme]

请问这个问题你是怎么解决的呢？直接将它模型定义部分的代码全部注释替换成AutoModel.pretrain吗

[cnzx05cnzx]

我也遇到了同样的问题，请问最后是如何解决的

[yuekaizhang]

我也遇到了同样的问题，请问最后是如何解决的

https://github.com/yanqiangmiffy/InstructGLM/issues/1#issuecomment-1482778224

[ErrorGz]

我也遇到过这问题，当时cuda版本是11.6，pytorch是1.13，后来将cuda升到11.8，pytorch升到2.0就可以了。

[shmily91]

最后是怎么解决的？

[twosnowman]

直接注释了gradient_checkpointing_enable， 但是不知道有何影响