FunASR icon indicating copy to clipboard operation
FunASR copied to clipboard

标点符号添加错误,书名号中内容被添加标点符号

Open RichardQin1 opened this issue 1 year ago • 2 comments

使用标点符号添加模型进行处理, 书名号中内容被添加标点。 inference_pipline = pipeline( task=Tasks.punctuation, model='damo/punc_ct-transformer_zh-cn-common-vocab272727-pytorch', model_revision="v1.1.7") tmp_str = "《内容测试》内容测试内容司内容" inference_pipline(text_in=tmp_str) 输出结果: 《内容测试。》内容测试内容司内容

期望: 书名号中内容不要进行添加

RichardQin1 avatar Nov 20 '23 10:11 RichardQin1

I have tested it with the ct-transformer large version, the result is expected. Maybe you could try it:

https://github.com/alibaba-damo-academy/FunASR/tree/main/egs_modelscope/punctuation/punc_ct-transformer_cn-en-common-vocab471067-large

LauraGPT avatar Nov 23 '23 16:11 LauraGPT

I have tested it with the ct-transformer large version, the result is expected. Maybe you could try it:

https://github.com/alibaba-damo-academy/FunASR/tree/main/egs_modelscope/punctuation/punc_ct-transformer_cn-en-common-vocab471067-large

sorry, Let me update the sample content tmp_str = '我们看到的MV片段 是由西安铁路局和 西安国际港务区 联合出品的 《我和张骞有个约定》 在2014年的第十八届 “西洽会”闭幕当天 首次公布 今年的“西洽会” 也被称为是首届丝绸之路 国际博览会 2013年的9月7日 习近平在哈萨克斯坦 演讲的时候 首次提出了 “丝绸之路经济带”的概念 而在9月27日 西安市便与正在参加 第四届亚欧论坛的丝绸之路 沿线城市 共同签署了《西安宣言》 要求共同推进丝绸之路 经济带的建设 区域经济一体化 是全球化时代的 一个重要的特征 而“丝绸之路经济带”的提出 被认为是中国向西开放的 一个重要的举措 地处中国西北的陕西省 表示将会全力的打造 “丝绸之路经济带”的 新起点 前不久 我来到了西安 与陕西省委书记赵正永 进行了一次相约问答'

tmp_str = '问答江西省委书记强卫“物华天宝人杰地灵”是唐代诗人王勃在《滕王阁序》中赞美江西的名句 这个地处中国东南长江中下游的省份是江南的“鱼米之乡”有着闻名遐迩的景德镇瓷器“世界遗产”庐山中国第一淡水湖、鄱阳湖 这里不仅盛产了陶渊明 欧阳修 王安石 黄庭坚等历史文坛巨擘 还是现代中国的红色老区 被称为是中国人民解放军的摇篮和中华人民共和国的摇篮 2014年的5月19日 这个外界眼中一直以“内向型经济”为主要特色的省份 12年来,首度由省委书记带队赴港招商 此前不久 我特意来到了江西 走进了这片红色、绿色、古色交相辉映的赣鄱大地 与赴任刚一年多的省委书记强卫有了一次相约问答'

Both of these results have varying degrees of issues. by content in book title and quotation marks

model='damo/punc_ct-transformer_zh-cn-common-vocab272727-pytorch' model_revision="v1.1.7"

RichardQin1 avatar Dec 06 '23 08:12 RichardQin1