xiaobo-Chen issues

Repositories
Issues
Comments

Results 1 issues of


                                            xiaobo-Chen

在训练Chat模型时，cutoff_len是否会对special token 进行截断，进而影响训练效果

### Reminder - [X] I have read the README and searched the existing issues. ### Reproduction 对qwen1.5-7b-chat模型进行DPO训练，由于输入长度较长，指定cutoff_len=8192。根据https://github.com/hiyouga/LLaMA-Factory/blob/85c376fc1e0bcc854ed6e70e6455a0b00b341655/src/llmtuner/data/preprocess.py#L27来看应该是把input 进行tokenizer之后再对id进行cutoff。使用chat对应的Template中存在，是否也会进行截断，进而影响训练效果？是否能作为一个优化方向？ ### Expected behavior _No response_ ### System Info _No response_ ###...

duplicate