CLUENER2020
CLUENER2020 copied to clipboard
CLUEbenchmark
Bert_Base复现结果低1.17，请问可否公布一下参数设置
请问你的分数是多少呢，有提交么； tf_version 版本： roberta_large 见shell 脚本（有同学提交测试，同样参数得分差距也有0.5左右） bert_base( max_seq_len=64, lr=3e-5, epoch=5, batch_size=32) ，由于保存策略问题，4轮就停止保存了。
pytorch 版本实验见：https://github.com/CLUEbenchmark/CLUENER2020/tree/master/pytorch_version
由于数据集较小，得分在差距在1个点左右属于正常现象，可以多训练测试几次； 欢迎在 https://www.cluebenchmarks.com/ner.html 提交报告你的得分。
请问你的分数是多少呢，有提交么； tf_version 版本： roberta_large 见shell 脚本（有同学提交测试，同样参数得分差距也有0.5左右） bert_base( max_seq_len=64, lr=3e-5, epoch=5, batch_size=32) ，由于保存策略问题，4轮就停止保存了。
pytorch 版本实验见：https://github.com/CLUEbenchmark/CLUENER2020/tree/master/pytorch_version
由于数据集较小，得分在差距在1个点左右属于正常现象，可以多训练测试几次； 欢迎在 https://www.cluebenchmarks.com/ner.html 提交报告你的得分。
请问现在这个保存策略问题有解决吗？
请问你的分数是多少呢，有提交么； tf_version 版本： roberta_large 见shell 脚本（有同学提交测试，同样参数得分差距也有0.5左右） bert_base( max_seq_len=64, lr=3e-5, epoch=5, batch_size=32) ，由于保存策略问题，4轮就停止保存了。
pytorch 版本实验见：https://github.com/CLUEbenchmark/CLUENER2020/tree/master/pytorch_version
由于数据集较小，得分在差距在1个点左右属于正常现象，可以多训练测试几次； 欢迎在 https://www.cluebenchmarks.com/ner.html 提交报告你的得分。
请问现在这个保存策略问题有解决吗？
保存策略有啥问题吗？可以指定多少轮保存，也可监测loss或者acc等值进行保存
训练四轮之后，就出现了这个错误？
模型可能没有保存呢，之前参数我没有修改过来，你看看打印的log就明白怎么回事了。
"train_examples_len": 10748,
"dev_examples_len": 1343,
"num_labels": 41,
"train_batch_size": 32,
"dev_batch_size": 32,
"num_train_epochs": 5,
"eval_start_step": 1300,
"eval_per_step": 100,
"auto_save": 50,
"learning_rate": 3e-5,
"warmup_proportion": 0.1,
"max_seq_len": 64, # 输入文本片段的最大 char级别 长度
你换成这个试试
模型可能没有保存呢，之前参数我没有修改过来，你看看打印的log就明白怎么回事了。
"train_examples_len": 10748, "dev_examples_len": 1343, "num_labels": 41, "train_batch_size": 32, "dev_batch_size": 32, "num_train_epochs": 5, "eval_start_step": 1300, "eval_per_step": 100, "auto_save": 50, "learning_rate": 3e-5, "warmup_proportion": 0.1, "max_seq_len": 64, # 输入文本片段的最大 char级别 长度你换成这个试试
OK了，谢谢
@ConnieTong 我目前的结果也是77.65（bert_base），无法达到79+； 请问，你是怎么解决这个问题的？
目前我的最好结果是77.86，也是无法达到79+
@ConnieTong @qlwang25 你们用的是tensorflow吗？pytorch我线下dev可以得到0.8128，线上也可以0.80+，你们试试。BERT-BASE
