ConSERT
ConSERT copied to clipboard
Published
20 hours ago •
yym6472
yym6472
关于dropout的问题
您好，想请问一下， 1.看到代码中只有 unsup-consert-base.sh 使用了 no_dropout 参数，而其它没有将BERT自带的dropout设置为0，这是为什么呢？ 2.在禁用了BERT的dropout的情况下，是原句子和数据增强后句子都也不使用dropout，还是说只是数据增强后的句子不使用？
我们比较早的实验都没有禁用bert自带的dropout，禁用的实验为了后面做消融，排除bert的dropout干扰而补充的。
如果禁用了dropout应该是两次forward都不会使用dropout。
