FuXiaoyang0715
FuXiaoyang0715
问题：用户自定义词典中的词不能够被准确的识别，如我在user_dict中添加了“紫微星”和“旗舰店”，但是在分词“紫微星旗舰店”时模型给出的结果是“紫微星旗”和“舰店”，这与预期大大相反。同样也有其他用户自定义词典未能有效识别的情况。 请问如何将自定义用户词典内的词设置优先级为最高，以词典失效的问题？
### Is there an existing issue for this? - [X] I have searched the existing issues ### Current Behavior 一般来讲，就是准备自己的训练集、验证集和测试集来做一次Ptuning。然后在evaluate.sh中做推理即可。 ### Expected Behavior 那么现在就有一个需求，就是我想做多次微调，并且是在上一次微调的基础上再次做微调。比如第一次微调后，得到对应的第一次的checkpoints，当然此时模型原有的权重都是冻结的，不变的。现在我想对一批新数据去在第一次微调后的结果上做二次微调，那么肯定也会得到二次微调后的checkpoints，模型本身的权重还是冻结的，多次微调则可以按照这样的方式进行多次，比如可以随时的输入文本来让模型不断地学习，其实也就是堆叠微调，在上一次的基础上去做微调，不断的微调，同时模型还应该掌握之前拥有的能力。 综上表述： 有以下几个问题 （1）二次微调如何在模型原本的已经具有的权重和一次微调后的权重上做？ （2）如果在二次微调中因为特殊原因中断了，那么该怎么办，当然此时可能保留的有checkpoints1000，checkpoints2000等，但是中断导致checkpoints3000不见了 ### Steps...