cutoff_len可能会导致chat的template被截断？

[jue-jue-zi]

目前使用的cutoff_len截断逻辑似乎会破坏chat template，请问这个对chat模型的训练会造成影响吗？（因为我目前的sft样本还是有很多因为显存限制，配置了cutoff_len导致被截断）

https://github.com/hiyouga/LLaMA-Factory/blob/b87f8f15194923392d1a1c3d3c617b463cdd8379/src/llmtuner/data/template.py#L662

https://github.com/hiyouga/LLaMA-Factory/blob/b87f8f15194923392d1a1c3d3c617b463cdd8379/src/llmtuner/data/template.py#L147

[codemayq]

会的，cutoff 会导致样本的长度和原始的不一致，导致template填充的结果里信息丢失

[hiyouga]

Duplicate of https://github.com/hiyouga/LLaMA-Factory/issues/1575