BERT-NER-Pytorch icon indicating copy to clipboard operation
BERT-NER-Pytorch copied to clipboard

报错:内存溢出Segmentation fault (core dumped)?

Open topDreamer opened this issue 4 years ago • 4 comments

您好!我在clone代码按照步骤运行的时候,报了代码溢出的错误,截图如下,请教下该如何让解决呢,非常感谢: image

topDreamer avatar Jun 21 '20 01:06 topDreamer

可能是pytorch 版本和下载的预训练模型版本不一致; 最新从 huggfaace 下载的模型 用 pytorch 1.3 会出现上面错误,换成 1.5 可正常运行。

yanshanjing avatar Jul 22 '20 17:07 yanshanjing

我遇到的是因为sentencepiece的版本问题,修改sentencepiece为0.1.83就能解决. pip install sentencepiece==0.1.83

paulpig avatar Aug 31 '20 08:08 paulpig

我遇到的是因为sentencepiece的版本问题,修改sentencepiece为0.1.83就能解决. pip install sentencepiece==0.1.83

我不装sentencepiece,也是ok的,实际上bert用的不是sentencepiece包含的BPE和unigram,而是wordpiece,而wordpiece,sentencepiece并没有包含。

lvjiujin avatar Sep 07 '21 11:09 lvjiujin

我遇到的是因为sentencepiece的版本问题,修改sentencepiece为0.1.83就能解决. pip install sentencepiece==0.1.83

my pytorch is 1.8 gpu.

lvjiujin avatar Sep 07 '21 11:09 lvjiujin