Linbo

我也遇到这个问题。求官方解答。

设置pre_seq_len会自动打开p-tuning v2[1]，若pre_seq_len=64，可训练参数约0.237%；设置prefix_projection=True，会打开prefix-tuning[2]，若pre_seq_len=64，可训练参数约13.419%。 prefix-tuning和p-tuning v2类似，prefix-tuning用MLP对前缀进行了编码，因此参数量增加，同时显存使用量也增加了。具体代码在modeling_chatglm.py 146行。 开启prefix_projection对模型性能影响有多大，如果有小伙伴测试过了也可以告知一下~ [1] P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks [2] Prefix-Tuning: Optimizing Continuous Prompts for Generation