CoLLiE
CoLLiE copied to clipboard
chatGLM2 好像目前不支持ptuning训练,有计划什么时候支持么
你好,是计划支持ptuning的,请问你遇到了什么报错?
你好,是计划支持ptuning的,请问你遇到了什么报错?
目前遇到的问题: https://github.com/OpenLMLab/collie/blob/dev/collie/utils/pipeline_engine.py 412行,assert _grad_key is None, "More than one tensors requires grad." 。和chatglm2中的model写法矛盾,里面吧prefix embedding也写到这里了,不止一个需要grad的tensor。
之前也遇到了一些问题,主要是一些和past_key_values形状相关的问题,没有记录下来。