KBERT中 样本挂载知识的理解

[tonyqtian]

Hi, 您好，KBERT的构思非常巧妙，最近使用这套框架做了一系列的实验。中间有关于K-BERT的疑问，想向您探讨咨询一下： 从代码看到，KBERT在训练和inference两个过程里都会将知识挂载到训练样本上，训练（或者说finetune）过程中把知识挂载上去，我理解有两种可能的作用： 第一种是让模型“学习”这些带有知识的训练样本，从而让知识被模型学到。 第二种是让模型学习到可以在训练样本上挂在知识这件事情，从而在inference的时候，模型可以有效的handle这些挂载了知识的训练样本。

从论文推断我理解作者应该是第一种情况。 那么，理论上因为模型已经通过样本学习到了知识，是否在inference时，不挂载知识而采用普通样本，模型也能inference出相对更好的效果？

[autoliuweijie]

Hi, 您好，KBERT的构思非常巧妙，最近使用这套框架做了一系列的实验。中间有关于K-BERT的疑问，想向您探讨咨询一下： 从代码看到，KBERT在训练和inference两个过程里都会将知识挂载到训练样本上，训练（或者说finetune）过程中把知识挂载上去，我理解有两种可能的作用： 第一种是让模型“学习”这些带有知识的训练样本，从而让知识被模型学到。 第二种是让模型学习到可以在训练样本上挂在知识这件事情，从而在inference的时候，模型可以有效的handle这些挂载了知识的训练样本。

从论文推断我理解作者应该是第一种情况。 那么，理论上因为模型已经通过样本学习到了知识，是否在inference时，不挂载知识而采用普通样本，模型也能inference出相对更好的效果？

这几种实验我们都做过哈，预训练、finetune、inference三个阶段分别是否挂载知识。最终发现finetune、inference都挂载比较好。

如你所说，在预训练和fintune阶段挂载三元组就可以使得模型通过训练学习到知识，但是实验表明，载inference阶段也注入知识效果会更好。我们认为inference注入知识会比训练获取知识的方式更高效吧。

[tonyqtian]

这几种实验我们都做过哈，预训练、finetune、inference三个阶段分别是否挂载知识。最终发现finetune、inference都挂载比较好。

如你所说，在预训练和fintune阶段挂载三元组就可以使得模型通过训练学习到知识，但是实验表明，载inference阶段也注入知识效果会更好。我们认为inference注入知识会比训练获取知识的方式更高效吧。

了解。那么在 pretrain、finetune 和 inference阶段挂载知识 这三者，在整体效果的贡献度上有没有什么定量（ablation）的描述或者定性的经验呢，哪个对知识带入的整体提升是最主要的？