FlagEmbedding icon indicating copy to clipboard operation
FlagEmbedding copied to clipboard

语料里的知识出现多少次才能被记住

Open flowermlh opened this issue 2 years ago • 0 comments

大语言模型是有记忆力的,所以能预训练之后,能回答一些它学习过的知识。 出现的越多,预测时可能就会更容易被使用。

好奇的是: 一个知识是否只要出现过,经过预训练,大语言模型就能记住呢。

flowermlh avatar Dec 29 '23 09:12 flowermlh