rank4_NLP_textclassification icon indicating copy to clipboard operation
rank4_NLP_textclassification copied to clipboard

Published 20 hours ago • verified publisher icon MM-IR

如果使用现成的vocab.txt改怎么修改嘞

Open Howard0x3f opened this issue 3 years ago • 2 comments

我自己已经尽力了。但是感觉你定义的那个vocab类分布在各个地方，改不过来了233

Howard0x3f avatar Jun 14 '21 01:06 Howard0x3f

这个就是看看分词有关的代码, 生成自己的vocab.txt. 我记得transformers也有对应的API的。

MM-IR avatar Jun 14 '21 07:06 MM-IR

如果方便的话能否详细说明，刚开始搞，还有不少不清楚的地方，谢谢。我想做一个普通的新闻分类，但是并没有像天池一样匿名处理，所以我打算直接用谷歌的vocab.txt来做，却不知道怎么修改您的代码。

------------------ 原始邮件 ------------------ 发件人: @.>; 发送时间: 2021年6月14日(星期一) 下午3:56 收件人: @.>; 抄送: @.>; @.>; 主题: Re: [MM-IR/rank4_NLP_textclassification] 如果使用现成的vocab.txt改怎么修改嘞 (#3)

这个就是看看分词有关的代码, 生成自己的vocab.txt. 我记得transformers也有对应的API的。

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe.

Howard0x3f avatar Jun 14 '21 08:06 Howard0x3f