K-BERT

K-BERT copied to clipboard

您好，请问您在预训练时的step数和Batch分别是多少呢？

ZhangHaojie077

复现问题

4

您好，感谢您关于预训练的解答。但在我复现您的成果时碰到两类疑问： 1、msra数据集的复现效果好像不佳，不知道是不是我batch_size设置不够大的原因；另外想问一下msra的测试验证数据集划分为什么是2：1？最后还想问您一下git上提供的数据是完整的么？ 2、我尝试让每次的结果都固定，但是即使是您提供的源代码，每次跑的结果仍然是不同的。不知道要怎么解决。期待您的回复。

Smile-L-up

生成类任务

1

Hi weijie, 你好，对于下游任务是response generation类任务的话，引入知识，对于结果会有什么提升吗？ 这块有做什么相关试验吗？(近期在考虑结合Kbert & UniLM做一些实验，不知是否可以共同讨论下)

jennywei1987

NER标签还原实体问题

4

您好！非常感谢您的工作分享～想请教一下NER任务得到了预测的BIO标签之后应该怎么还原得到实体呢？我目前是在run_kbert_crf.py里根据evaluate函数里找start和end的逻辑把预测到的实体框出来，但是发现这样做会基于KG添加的图谱里的实体也框进去，比如原文是北京(B I)，在添加了图谱信息后预测出来的可能是北京首都（B I ENT ENT），甚至会出现（B ENT ENT I I)这种情况，我也有尝在抽取时直接忽略掉标签为ENT的，有很多情况下会抽出来单字（只有B就截断了）。请问这种处理逻辑有问题吗，或者您有什么建议吗？感谢！

Kittyuzu1207

extend to other pre-trained LMs

1

Hi, thanks for sharing the excellent work. May I ask if this knowledge-graph based model can be extended into other pre-trained models, like RoBERTa or GPT2? My understanding is Yes....

lytum

预训练模型

1

您好，我从论文中发现，您有自己在新的预料中再进行预训练，我也想在自己的数据中进行预训练，想问一下您可以提供您的预训练代码吗？

Smile-L-up

QA代码

1

您好，非常感谢您所做的工作！这篇论文好像只提供了命名实体识别和文本分类的代码，请问 一下是否可以提供在特定领域的QA代码，我的邮箱：[email protected]。这将对我的研究非常有帮助，非常感谢！！

houjin0803

how to pick triples out of multiple candidates?

1

Hi @autoliuweijie Given multiple triples candidates (e.g., 20) in KG associated with an entity of interest (e.g., Beijing) in Fig. 2, What's the scheme to pick reasonable ones (e.g., 2)...

tanfei2007

關於知識triple掛載 ,predicate True or False?

1

您好, @autoliuweijie 大大, 請問您在做NER任務時特別將predicate設置成False ,只掛載實體屬於什麼類型 ,而沒將'類別'也放進去的原因是什麼?(如下圖之慢性胃炎->疾病  `kg = KnowledgeGraph(spo_files=spo_files, predicate=False)` 在其他任務中則將predicate設置成True,是因為效能因素嗎?或有任何原因嗎? `kg = KnowledgeGraph(spo_files=spo_files, predicate=True)`

phc4valid

about model.bin

1

Dear @autoliuweijie , Thank you so much for your innovative study. I was wondering that if there is any chances that I change BERT to BERT-like models (etc:RoBERTa-chinese ,MacBERT). Is...

phc4valid