TimeOverflow

llamafactory 微调数据量较大，每次都会在 tokenizer 阶段卡很久，然后因为通信时间过长失败

2

相关库版本： ```shell accelerate 1.6.0 datasets 3.5.0 deepspeed 0.16.5 flash-attn 2.7.0.post2 huggingface-hub 0.30.2 llamafactory 0.9.3.dev0 tokenizers 0.21.1 torch 2.4.0+cu121 torchaudio 2.4.0+cu121 torchlibrosa 0.1.0 torchvision 0.19.0+cu121 transformers 4.48.3 ``` 数据量级：~400w 机器：2 *...