Weijie Liu

> 好像没有找到相关的预训练代码 K-BERT的项目里不关注于预训练，预训练相关的内容我们放在另一个项目里了，UER：https://github.com/dbiir/UER-py 欢迎关注哈

> if there is any source about dbpedia.spo(in english not CnDbpedia) ,thanks! Sorry, we don't have the .spo file of dbpedia.

> Hi, > > thanks for sharing the excellent work. May I ask if this knowledge-graph based model can be extended into other pre-trained models, like RoBERTa or GPT2? My...

This is an unsolved problem, which is randomly selected at present. In future studies, we propose to employ some entity linking methods to select candidates.

对于领域知识图谱（如医学知识图谱），关系类别比较少的时候，我们发现是否实用predicate差别不大

举个栗子：“爱吃苹果（水果）哈“， 每个字的索引是“0， 1， 2， 3，（4，5），4” 在visible matric，“果”是可以看到“苹”的。 具体可以参考visible matric生成的代码

> 请问是否有想过如果用词级别来做soft position呢?如果用词级别来做soft position效果会不会比较好? 按词进行soft-position的话，会出现“蜜蜂“/”蜂蜜“无法区别的问题。

> autoliuweijie您好: > 这个模型可以转为tensorflow格式或者有tensorflow版吗？主要是对比实验需要用您这个模型。 > 谢谢！ 目前没提供转tensorflow的脚本，但是你可以根据模型参数名称，自己写一个转换脚本来实现。 参考UER里的转换脚本：https://github.com/dbiir/UER-py/blob/master/scripts/convert_bert_from_uer_to_google.py

我这里实验没有太多随机性呀？ 是不是你的batch_size设置的比较小？

> 您好，请问Knowgraph.py中add_knowledge_with_vm函数通过pkseg分词得到的是每个字而不是单词，而brain知识图谱中的实体都是词组，这样不是匹配不上吗？ > > 如： > ['[CLS]两小时读完'] > [['[CLS]', '两', '小', '时', '读', '完', '[PAD]', '[PAD]', '[PAD]', '[PAD]', '[PAD]', '[PAD]', '[PAD]', '[PAD]', '[PAD]', '[PAD]', '[PAD]', '[PAD]', '[PAD]', '[PAD]', ... 您好，add_knowledge_with_vm里用的是pkuseg，是一个分词工具，是按词分的。