flowermlh

怎么直观的评估模型预训练之后的效果呢

3

请教各位大佬。 文档里说： Note that the goal of pre-training is to reconstruct the text, and the pre-trained model cannot be used for similarity calculation directly, it needs to be fine-tuned。 预训练之后的模型有一些可以直接看到效果的用法吗？...

大语言模型是有记忆力的，所以能预训练之后，能回答一些它学习过的知识。 出现的越多，预测时可能就会更容易被使用。 好奇的是： 一个知识是否只要出现过，经过预训练，大语言模型就能记住呢。