P-tuning-v2 icon indicating copy to clipboard operation
P-tuning-v2 copied to clipboard

Published 20 hours ago • verified publisher icon THUDM

请问，实现p-tuningv2，在每一层都添加可学习参数的代码在哪里？，nlp新手，感谢！！

Open lzh1998-jansen opened this issue 1 year ago • 1 comments

请问，实现p-tuningv2，在每一层都添加可学习参数的代码在哪里？，nlp新手，感谢！！

lzh1998-jansen avatar Apr 27 '23 11:04 lzh1998-jansen

通过model的past_key_value这个参数；会将past_key_value concat到每一层的key和value。

yingying123321 avatar May 27 '23 09:05 yingying123321