Long-Context-Data-Engineering icon indicating copy to clipboard operation
Long-Context-Data-Engineering copied to clipboard

Published 20 hours ago • verified publisher icon FranxYao

【评估求问】关于pretrain阶段的model，follow instruction能力应该比较差，文中的测试的方法可以分享一下吗？

Open randomtutu opened this issue 4 months ago • 5 comments

hi， 作者你好

最近看到了这篇非常棒的paper，很感谢你的工作。

在一些细节方面想请教一下。具体的就是pretrain阶段的model，follow instruction能力应该比较差，很多时候我自己尝试测试时，特别是context较长的情况下，会不停的续写、重复、很少有能够比较完整的回答问题的能力，我比较好奇文中的测试的方法是什么，可以让pretrain模型在context比较长的情况下做到。

祝好！

randomtutu avatar Mar 04 '24 03:03 randomtutu