LLMPruner
LLMPruner copied to clipboard
自定义词表问题
我看到关闭的issues中有一个关于如何生成自定义词表的问题,我尝试按照其中提到的方法自己裁剪原生bloom的词表,遇到了以下的问题:
- 按造[samsha1971]提供的代码,报错:
这个应该是merges属性导致的问题
- 如果将t["model"]["merges"] = [] 设置为空,encode的结果也为空;
所以想请问,手动重构词表怎么处理这些问题?