weitajinjucha

tnews数据集epoch增大，dev_acc提升，test_acc下降 --max_seq_length=32 \ --per_gpu_train_batch_size=64 \ --per_gpu_eval_batch_size=64 \ --learning_rate=2e-5 \ --num_train_epochs=5.0 \ --logging_steps=834 \ --save_steps=834 \ epoch设为10时，dev_acc会略微增大，test_acc会显著减小，请问这是什么原因？

Bert后加nn.LSTM

1

请问nn.LSTM的batch_first设置成False但实际上没有改变data维度顺序（batch在第一位），对结果会产生怎样的影响？ 在这么做的情况下，我把一层lstm层接到了bert的第六层之后输出，在第一个epoch比bert高了近一个点，后来有所降低但稳定比完整的bertbase高，请问您知道这个是什么原因吗？

实验结果较差

6

请问您用这一份代码的实验结果大概是多少呢？ 我用--batch_size 32 --logging_steps 500 --save_steps 2000 --epochs 10 --learning_rate 5e-5 --max_seq_length 128 最后最好的实验结果： Eval: Sentence-Level Performance: Detection metric: F1=0.7307, Recall=0.7008, Precision=0.7633 Correction metric: F1=0.7058, Recall=0.6639, Precision=0.7534 Save best model...

作者您好，请问文中提到的SMS数据集，您能够提供吗？若果可以的话万分感谢！