ChatGLM-Finetuning icon indicating copy to clipboard operation
ChatGLM-Finetuning copied to clipboard

Published 20 hours ago • verified publisher icon liucongg

ptuning 和 ptuningV2

Open cxj01 opened this issue 11 months ago • 1 comments

当prefix_projection为True时，为P-Tuning-V2方法，在大模型的Embedding和每一层前都加上新的参数；为False时，为P-Tuning方法，仅在大模型的Embedding上新的参数。

这句话不对吧？这个参数prefix_projection并不是控制是ptuning还是ptuning v2的吧？ @liucongg @ZhishanQ

cxj01 avatar Aug 03 '23 07:08 cxj01