BERT-BiLSTM-CRF-NER icon indicating copy to clipboard operation
BERT-BiLSTM-CRF-NER copied to clipboard

Published 20 hours ago • verified publisher icon macanv

为什么我换了学习率，最终的结果都是0呢？ batch_size设大一点就OOM？

Open yohowitch opened this issue 3 years ago • 5 comments

  1. 将原本的1e-5学习率换为0.001，之后跑出的结果全为0

  2. batch_size 设为16可以跑，设为32就会有OOM报错

yohowitch avatar May 07 '21 11:05 yohowitch

请问你的gpu显存多大呢，我的8G显存，batch_size 设为16就会有OOM报错

1qingqing1 avatar Jun 27 '21 04:06 1qingqing1

  1. 将原本的1e-5学习率换为0.001，之后跑出的结果全为0

    1. batch_size 设为16可以跑，设为32就会有OOM报错

请问这个问题解决了吗我也遇到了更换学习率的问题

S0W0H0 avatar May 06 '22 05:05 S0W0H0

bert层学习率要设置的小一些，可以试试2e-5、3e-5、5e-5，其他层可以设置大一些1e-4、1e-3

1qingqing1 avatar May 08 '22 02:05 1qingqing1

请问在哪设置呢，我只在train_helper.py中找到了一个有关learn_rate参数设置的地方

S0W0H0 avatar May 09 '22 02:05 S0W0H0