BERT-BiLSTM-CRF-NER icon indicating copy to clipboard operation
BERT-BiLSTM-CRF-NER copied to clipboard

按教程训练并进行client测试结果错误

Open guochen2 opened this issue 5 years ago • 6 comments

训练集使用https://github.com/zjy-ucas/ChineseNER

训练命令

bert-base-ner-train \
-data_dir=/home/bert/BERT-BiLSTM-CRF-NER/data/ \
-bert_config_file=/home/bert/chinese_L-12_H-768_A-12/bert_config.json \
 -vocab_file=/home/bert/chinese_L-12_H-768_A-12/vocab.txt \
 -init_checkpoint=/home/bert/chinese_L-12_H-768_A-12/bert_model.ckpt \
 -output_dir=/home/bert/BERT-BiLSTM-CRF-NER/output/result_dir/  \
 -do_lower_case=True

训练结果 image

启动服务命令

bert-base-serving-start \
    -model_dir /home/bert/BERT-BiLSTM-CRF-NER/output/result_dir/ \
    -bert_model_dir /home/bert/chinese_L-12_H-768_A-12 \
    -model_pb_dir /home/bert/BERT-BiLSTM-CRF-NER/output/result_dir/model_pb_dir \
    -mode NER

启动后自动生成了pb文件且服务启动 使用client代码进行调用 image

结果未达预期

image

求助 是哪里出问题了呢?

guochen2 avatar Jun 26 '19 07:06 guochen2

预期是什么

macanv avatar Jun 26 '19 07:06 macanv

预期是 image

用你的pb可以达到这个效果,但是自己训练的模型不行。

guochen2 avatar Jun 26 '19 10:06 guochen2

@c15881291595 你好.你解决这个问题了吗? 是什么原因呢?

lizhzh8 avatar Aug 23 '19 14:08 lizhzh8

我最近在公司也在复用这个项目,的确是没遇到过您这个问题,但是我看你的输出文件,你的模型训练正常么?

macanv avatar Aug 26 '19 04:08 macanv

你好,请问这个问题你解决了吗? 我也遇到类似的问题,第一次用人民日报语料训练后测试语句,给出的实体标注结果很好。 然后我用自己的语料训练,无论如何都达不到效果,整句话都被标注为一个实体(尽管模型训练给出的F值都有90%以上)。 于是我又重新训练人民日报语料,然而这次测试结果也不对了,再训练也还是不对

yahal333 avatar Oct 31 '19 07:10 yahal333

我又试了下用terminal_predict.py脚本直接在线预测,结果是准确的。就是用bert-base-serving运行服务预测的结果很混乱

yahal333 avatar Oct 31 '19 08:10 yahal333