复现中的几个问题

[EternalEep]

您好，在复现您paper的过程中，有以下几个问题

1. 您未提供remain_train.txt文件，据我猜测本文件应该为需要模型进行标注的unlabeled dataset，请问对吗？
2. 对于allennlp predict中传入的args.ner_weight参数，源代码没给出其具体的定义，我猜测其为NER模型的权重，所以我把bert-base放进去，但是allennlp好像不能读取bert-base，出现了报错，所以想问下args.ner_weight参数具体指的是什么？

非常迫切希望得到您的回复，我们也可以通过邮件进行交流， [email protected]

[houking-can]

您好，在复现您paper的过程中，有以下几个问题

1. 您未提供remain_train.txt文件，据我猜测本文件应该为需要模型进行标注的unlabeled dataset，请问对吗？
2. 对于allennlp predict中传入的args.ner_weight参数，源代码没给出其具体的定义，我猜测其为NER模型的权重，所以我把bert-base放进去，但是allennlp好像不能读取bert-base，出现了报错，所以想问下args.ner_weight参数具体指的是什么？

非常迫切希望得到您的回复，我们也可以通过邮件进行交流， [email protected]

1. 是的
2. parser.add_argument('--ner_weight', type=str, default=f'{HOME}/best/ner/{dataset}/0.1/，这里指的训练好的ner模型的路径，包括bert-base+CRF层，直接load bert-base是不行的。（这代码当时投完论文就没整理了，写得很挫，看看思路就行。其实allennlp这个库有点过度包装了，我建议直接用huggingface transformers这个库，里面有对应的ner的example。这个repo其实主要思路就是搭建了一个pipeline，先在领域语料上继续预训练，使bert-base在specific domain上能更好encode文本，然后就是一个迭代训练。）

[EternalEep]

您好，在复现您paper的过程中，有以下几个问题

1. 您未提供remain_train.txt文件，据我猜测本文件应该为需要模型进行标注的unlabeled dataset，请问对吗？
2. 对于allennlp predict中传入的args.ner_weight参数，源代码没给出其具体的定义，我猜测其为NER模型的权重，所以我把bert-base放进去，但是allennlp好像不能读取bert-base，出现了报错，所以想问下args.ner_weight参数具体指的是什么？

非常迫切希望得到您的回复，我们也可以通过邮件进行交流， [email protected]

1. 是的
2. parser.add_argument('--ner_weight', type=str, default=f'{HOME}/best/ner/{dataset}/0.1/，这里指的训练好的ner模型的路径，包括bert-base+CRF层，直接load bert-base是不行的。（这代码当时投完论文就没整理了，写得很挫，看看思路就行。其实allennlp这个库有点过度包装了，我建议直接用huggingface transformers这个库，里面有对应的ner的example。这个repo其实主要思路就是搭建了一个pipeline，先在领域语料上继续预训练，使bert-base在specific domain上能更好encode文本，然后就是一个迭代训练。）

感谢，明白您的思路，但是我想复现您代码，在安装allennlp的过程中遇到了一些问题，直接pip install是行不通的，经常出现包索引不到的情况，想问下当时您安装的时候是使用什么方法？

[houking-can]

@EternalEep allennlp安装就是很恶心，我记得是他依赖很多包，得手动把这些包装好。我没从官网中的repo中装，因为也遇到了你提到的这些问题，我记得没错的话，应该是这个https://github.com/linqian66/allennlp-0.9.0，不过网上应该很多教程，现在应该有教程能从官网安装成功的

[EternalEep]

@EternalEep allennlp安装就是很恶心，我记得是他依赖很多包，得手动把这些包装好。我没从官网中的repo中装，因为也遇到了你提到的这些问题，我记得没错的话，应该是这个https://github.com/linqian66/allennlp-0.9.0，不过网上应该很多教程，现在应该有教程能从官网安装成功的

我之前是直接从这个链接装的但没成功，https://github.com/allenai/allennlp 想问下您给我提供的这个链接是老版本还是他个人写的版本？

[houking-can]

我提供的这个版本是老版本，https://github.com/allenai/allennlp这个链接是官网的repo，应该直接装就是会有问题