FreeLo0op
Results
4
comments of
FreeLo0op
> 请问这个解决了吗，同遇到这个问题 没呢，看训练log有 Add to stop words，推理也设置了相应的eos_token_id，但还是停不下来。不过看label_ids里在这个token后面会多出一个‘198’的id
> 请问这个解决了吗，同遇到这个问题 src/llamafactory/train/sft/workflow.py 把代码里面的 gen_kwargs["eos_token_id"] = [tokenizer.eos_token_id] + tokenizer.additional_special_tokens_ids 改成gen_kwargs["eos_token_id"] = [151645, 198] 目前做了一个数据集的推理，已解决。
@liangjh2001 @wulaoshi 有找到不错的训练框架吗，kimi git上给的sft代码不太完善。