CPM icon indicating copy to clipboard operation
CPM copied to clipboard

Published 20 hours ago • verified publisher icon yangjianxin1

关于模型输入label的问题

Open shawroad opened this issue 3 years ago • 2 comments

您好，在gpt2这种生成模型中，输入的真实label不应该是和输入的input_ids错位吗？然后进行损失计算。 我看您代码中是没有错位的，因为什么原因呢？ 谢谢了~

shawroad avatar Aug 03 '22 11:08 shawroad

他复用了GPT2LMHeadModel这个类里的loss，这里面计算loss的时候已经错位了，你可以看源码

syspider avatar Aug 26 '22 15:08 syspider

OK 我一般是自己实现这个loss，所以没细看

shawroad avatar Aug 27 '22 09:08 shawroad