关于运行代码时出现Segmentation fault (core dumped)的问题

[IssacStudent]

出现问题的模块

./Baselines/BERT

环境

CUDA：10.1 其余版本和类库按照README.md的Requirements配置。

表现

在运行到run_leven.py中加载NER模型的时候，会出现Segmentation fault (core dumped)。

ner_model = model_class.from_pretrained(
    args.model_name_or_path,
    from_tf=bool(".ckpt" in args.model_name_or_path),
    config=config,
    cache_dir=args.cache_dir if args.cache_dir else None,
)

解决

和sentencepiece库的版本有关，我这边是0.1.92，降级到0.1.91即可，解决方法详见issue。

建议

建议在BERT的README.md中指定该类库版本，其他的我还没检查，如果其他的也需要的话，我会同步到这个issue中。