CoLLiE icon indicating copy to clipboard operation
CoLLiE copied to clipboard

chatGLM2 好像目前不支持ptuning训练,有计划什么时候支持么

Open BlueSkyyyyyy opened this issue 1 year ago • 2 comments

BlueSkyyyyyy avatar Nov 15 '23 10:11 BlueSkyyyyyy

你好,是计划支持ptuning的,请问你遇到了什么报错?

KaiLv69 avatar Nov 16 '23 03:11 KaiLv69

你好,是计划支持ptuning的,请问你遇到了什么报错?

目前遇到的问题: https://github.com/OpenLMLab/collie/blob/dev/collie/utils/pipeline_engine.py 412行,assert _grad_key is None, "More than one tensors requires grad." 。和chatglm2中的model写法矛盾,里面吧prefix embedding也写到这里了,不止一个需要grad的tensor。

之前也遇到了一些问题,主要是一些和past_key_values形状相关的问题,没有记录下来。

BlueSkyyyyyy avatar Nov 20 '23 10:11 BlueSkyyyyyy