LLMPruner icon indicating copy to clipboard operation
LLMPruner copied to clipboard
verified publisher icon yangjianxin1

词表相关

Open maojinyang opened this issue 2 years ago • 3 comments

非常感谢您的开源工作！请问如果要从自己的语料上构建全新的词表，具体的流程应该有哪些？

maojinyang avatar May 16 '23 05:05 maojinyang

Same question.

samsha1971 avatar Jun 12 '23 03:06 samsha1971

问下这个搞定了么？ 我自己构建了词表，但是new_tokenizer(text, return_tensors='pt').input_ids的时候是空的，但是decode的时候这个词语是有的？ 有人知道是什么问题么

非常感谢您的开源工作！请问如果要从自己的语料上构建全新的词表，具体的流程应该有哪些？

myh1234567 avatar Jun 17 '23 23:06 myh1234567

同问

yaopanyaopan avatar Jul 26 '23 06:07 yaopanyaopan