CPT icon indicating copy to clipboard operation
CPT copied to clipboard

Published 20 hours ago • verified publisher icon fastnlp

有关bart-base-chinese的vocab.txt文件

Open Edward-Joker opened this issue 2 years ago • 2 comments

您好，有关你们发布在huggingface的bart-base-chinese预训练模型，词表文件vocab是否有json格式的文件？恳请请告知。 --------因为facebook的vocab文件是json格式的，而你们发布的vocab文件是txt格式的

Edward-Joker avatar Dec 26 '21 04:12 Edward-Joker

我看了你们写的使用文档，为何Bart-chinese的词表要使用BertTokenizer，是因为使用的Bert词表吗？

Edward-Joker avatar Dec 26 '21 12:12 Edward-Joker

是的，CPT和BART都用的Bert的词表

choosewhatulike avatar Dec 27 '21 05:12 choosewhatulike