FlagEmbedding
FlagEmbedding copied to clipboard
语料里的知识出现多少次才能被记住
大语言模型是有记忆力的,所以能预训练之后,能回答一些它学习过的知识。 出现的越多,预测时可能就会更容易被使用。
好奇的是: 一个知识是否只要出现过,经过预训练,大语言模型就能记住呢。