BARTNER icon indicating copy to clipboard operation
BARTNER copied to clipboard

替换为中文的fnlp/bart-large-chinese 模型后,如何改动代码,能让bart训练中文?请问有 训练成功过吗

Open aixiaoxin123 opened this issue 2 years ago • 7 comments

请问替换为中文的fnlp/bart-large-chinese 模型后,如何改动代码,能让bart训练中文?请问有 训练成功过吗?

aixiaoxin123 avatar May 12 '22 05:05 aixiaoxin123

  1. fnlp/bart-large-chinese用的是BertTokenizer,所以下面这里应该是需要删掉add_prefix_space=True这个 https://github.com/yhcc/BARTNER/blob/b1741fec4d1696b5712f5d60b3ee1318bd8d05c9/data/pipe.py#L113
  2. 好像是就没有需要改动了,之前我有尝试过使用中文bart跑flat ner,但是效果比bert会差一些,主要原因是由于好像生成式的方式在中文里面会比较难找对boundary,但是我也没咋调参,不确定如果修改一些参数会不会让效果好一些。

yhcc avatar Aug 22 '22 08:08 yhcc

请问有替换为中文的fnlp/bart-large-chinese 模型 成功吗,成功的话 是否可以发一份代码给我,[email protected] 我这边替换后但一直报错

leehommlee avatar Sep 14 '22 12:09 leehommlee

有替换为中文的fnlp/bart-large-chinese模型成功了吗,成功的话是否可以发一个代码给我,[email protected] 我当时替换后但一直报错

同求,想用自己的中文数据集做实验,用bart-base可以成功,但是换成fnlp/bart-base-chinese会出错

lzf00 avatar Sep 27 '22 07:09 lzf00

应该有不少需要改的吧,BertTokenizer和 代码中用的bartTokenizer使用的句子开始和结束标记都不一样,编码解码过程中多处代码都需要修改

jingsongs avatar Sep 29 '22 09:09 jingsongs

改动不小,未成功

Rxma1805 avatar Nov 09 '22 07:11 Rxma1805

请问有替换为中文的fnlp/bart-large-chinese 模型 成功吗,成功的话 是否可以发一份代码给我,[email protected] 我这边替换后但一直报错

同求

Tough-Stone avatar May 30 '23 08:05 Tough-Stone