Results
2
comments of
wei li
> eval数据太少了，尝试加大eval数据量 evl 4.3 万，还是有这个问题
max_length: 限制单数据集样本经过tokenizer.encode后的tokens最大长度，超过的数据样本会根据truncation_strategy参数进行处理（避免训练OOM）。默认为None，即设置为模型支持的tokens最大长度(max_model_len)。 当PPO、GRPO和推理情况下，max_length代表max_prompt_length。 truncation_strategy: 如果单样本的tokens超过max_length如何处理，支持delete、left和right，代表删除、左侧裁剪和右侧裁剪，**默认为'delete'。** **有可能超长的被 delete 导出valid 的数据不足**