Zhihao Zhang
Zhihao Zhang
作者您好，阅读了您train文件，发现其中的模型加载后权重都以float16的形式存在，但是在训练过程中并没有发现您使用混合精度训练。而是使用了torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0)代码解决问题。 在我自己的实验代码中，发现如果模型加载成float16格式，不使用梯度裁剪就训练的情况下，一定会出现loss为nan的情况，而要使用torch的amp混合精度训练的情况下，则必须先将模型转换成float32形式，此时就涉及到了模型保存时权重过大的问题（相比于原始权重空间翻倍）。 对此我想咨询如下几个问题： 1.仅使用梯度裁剪的方式可行吗，这种方式会不会使得模型学习的不好。 2.为什么您没有使用混合精度训练，是因为没必要还是todo的原因。 3.有没有什么方法能够解决上述权重保存空间翻倍的问题。 期待您的回复。
目前的bytepiece算法和实现已经足够优秀，但是相较于sp而言文档较少，demo不多，所以目前好像更像是很多人研究的玩具而非生产力工具。综上，建议作者完善文档并增加一个词表扩充的demo或教程。感谢！
如题所示，能否提供intel npu的推理适配教程，期待您的回复。
Notice: In order to resolve issues more efficiently, please raise issue following the template. （注意：为了更加高效率解决您遇到的问题，请按照模板提问，补充细节） ## ❓ Questions and Help ### Before asking: 1. search the issues. 2. search the...
my torch version is 2.6 when i run script: xtuner convert pth_to_hf XX XX XX it will have a error, and i think its about torch2.6: `Traceback (most recent call...
我的环境版本是： ``` cuda==12,6 torch==2.8.0+cu126 deepspeed==0.17.6 flash_attn==2.7.3 ``` 我的脚本安装方式是： ``` pip install -e . ``` 代码下载时间：2025年09月23日 我的启动脚本是： ``` deepspeed --module openrlhf.cli.train_sft \ --max_len 2048 \ --dataset /home/zzh/code/RLHF/OpenRLHF/data/Open-Orca/OpenOrca \ --input_key question \...
Thank you for the author's contribution! I have noticed that this model supports batch inference, but how can I truly batch infer two audio files? Do I need to pad...