Bert-BiLSTM-CRF-pytorch 如何避免BERT模型内存过大的问题

如何避免BERT模型内存过大的问题

Open floAlpha opened this issue 5 years ago • 3 comments

    self.embed = BertModel.from_pretrained('./bert-base-uncased')  # bert 预训练模型

这样做应该是吧整个BERT视作了Embed层，我在训练时使用了Bert的768维的词向量，导致内存占用非常高，50G+，请问有什么方法可以避免占用过大的内存吗，譬如直接使用词嵌入而不嵌入整个模型？

Mar 23 '19 06:03 floAlpha

使用整个bert做词嵌入的话就是就会很大，除了降低序列长度和batch_size我也不知道咋办，可以考虑仅仅使用bert的embedding层，我没试过，仅供参考

Mar 27 '19 07:03 chenxiaoyouyou

albert吧

Jan 13 '20 22:01 napoler

请问单字符标签怎么表示? 没有 S tag?

Apr 17 '20 03:04 ysgncss