bert_language_understanding icon indicating copy to clipboard operation
bert_language_understanding copied to clipboard

Published 20 hours ago • verified publisher icon brightmart

你的textcnn实验，只要把学习率调大一个数量级，没有预训练也可以得到一样的结果

Open wykdg opened this issue 6 years ago • 5 comments

wykdg avatar Dec 05 '18 05:12 wykdg

真相了。。。

myeclipse avatar Nov 29 '19 08:11 myeclipse

不会吧。使用大规模的语料预训练，对准确率提升没有帮助吗？

brightmart avatar Nov 29 '19 10:11 brightmart

你这个实验调了一个非常小的学习率，导致没预训练的textcnn训练不起来而已。模型太小了，预训练的意义不大

wykdg avatar Dec 05 '19 02:12 wykdg

textcnn如何预训练？我觉得这根本就不可行！ textcnn跟transformer结构不一样，textcnn经过卷积池化之后，所有的文本都表示成了一个向量，根本没法取出对应mask位置的词向量 作词表的映射，又谈何做mask工作？此外，bert_cnn_model.py 也没有预训练textcnn的code. @brightmart @wykdg

chenlin038 avatar Apr 23 '20 12:04 chenlin038

还有人at我。。。这个就是他前年蹭热点乱写的代码而已。。一点意义都没啊

wykdg avatar Apr 25 '20 14:04 wykdg