P-tuning-v2 icon indicating copy to clipboard operation
P-tuning-v2 copied to clipboard

Published 20 hours ago • verified publisher icon THUDM

跟prefix tuning的区别是什么呢？

Open yingying123321 opened this issue 1 year ago • 2 comments

您好，p-tuning v2是将prompt embeddings通过past_key_values加到模型的每一层；看了prefix tuning的代码，也是通过past_key_values加到了模型的每一层。请问一下， p-tuning v2跟prefix tuning的区别在哪里呢？琢磨了好久都没有明白。

yingying123321 avatar May 27 '23 09:05 yingying123321

您好，p-tuning v2是将prompt embeddings通过past_key_values加到模型的每一层；看了prefix tuning的代码，也是通过past_key_values加到了模型的每一层。请问一下， p-tuning v2跟prefix tuning的区别在哪里呢？琢磨了好久都没有明白。

大胆些就是一摸一样

hanguangmic avatar Sep 26 '23 07:09 hanguangmic

我也是研究了很久。。。发现就是一模一样。。。

CalebXhr avatar Jul 25 '24 08:07 CalebXhr