P-tuning-v2

P-tuning-v2 copied to clipboard

yh351016

Questions about Results on Question Answering, Table 3

5

In Lester et al. (2021), they use T5 as the pre-trained model and use LM head to generate answers. For models like BERT, Roberta explored in this work, we can...

haichao592

在复现Ner的Conll2003时 一些关于metric的疑问

1

我在复现PT2在Ner的Conll2003时 数据来源于hugging face根据源代码提供的metric进行计算 roberta-large模型在验证集上返回了95+的f1_score 随后在roberta-large 上进行了全微调 仅3个epoch就超过了本文提供的fine-tuning f1 score baseline 1% . 有些疑问 文章中报告的结果是metric 直接返回的seqeval.metric 的overall_f1吗 还是经过额外的计算 。 能否提供PT2在训练conll2004的数据集原始文件吗 谢谢!

Luohuarucanxue

serena-li

p-tuning v2适合分类任务吗？ 我现在需要做一个文本分类任务，想问一下有什么适合的微调方法。

Duperr

p tuning v2在NER任务 conll2003上复现F1值和文中写的差一个点啊 参数是跟着shell文件里面设置的 有朋友遇到相似的问题吗？

1

zhanghuiecho

我指的是模型中自带的dropout层，而不是本仓库代码中后加上去的，请大佬指点。

xunzhaobucai

Can you provide also the run scripts for GLUE tasks? Thanks.

vanikanjirangat

分类任务上p-tuning v2效果不如p-tuning v1？

4

您好，我在一个中文五分类数据集上分别使用p-tuning v1的方法和p-tuning v2的方法进行训练，超参数是一样的，但结果差异很大。 在p-tuning v1 上准确率能到达八十多，但在p-tuning v2 上只能到达三十多。 请问可能是什么原因呢？

Sauloo-huen

您好，我在glm2上初步尝试了p-tuning v2 的方法，关于您论文中的消融实验部分，有提到prompt depth，但是在代码中没有找到在哪部分进行的，请问如何设置不同层的prompt微调呢？

lqf0624