Rickx
Rickx
> 稍有不同，但效果差别不大 Eric x. sun 于2018年12月13日周四 下午5:53写道： > […](#) > 从 https://github.com/baidu/Senta/blob/master/C-API/download.sh 此下载的模型是贵司开放平台上的最新模型吗？谢谢 — You are receiving this because you are subscribed to this thread. Reply to this email directly,...
微调 YI-6B 一直出现 loss scale overflow 然后 reduce 到 min_loss_scale 报错, YI-6B-Chat 则没问题，chat 模型训练参数设置有什么不同吗
> 不管是Yi-6B还是Yi-6B-Chat应该都会有这个问题，但是在训练的时候这个INFO是没有影响的。 如果你想解决这个问题你可以将[此处](https://github.com/01-ai/Yi/blob/6d3863190ec9d7649bb9ea001d1d3680995c6a4d/finetune/utils/ds_utils.py#L41C14-L41C14)fp16设置为False 具体导致这个问题的原因请参考：[PKU-Alignment/safe-rlhf#21 (comment)](https://github.com/PKU-Alignment/safe-rlhf/issues/21#issuecomment-1562420980) 感谢回复，我没表达清楚，理论上是都会有，但是YI-6B 训练一直在 overflow, 最终会reduce 到 min_loss_scale 报错 ` Exception: Current loss scale already at minimum - cannot decrease scale anymore. Exiting run.` **但 chat 版没有这种情况**，这是我主要的问题...
微调 YI-6B 一直出现 loss scale overflow 然后 reduce 到 min_loss_scale 报错, YI-6B-Chat 则没问题，chat 模型训练参数设置有什么不同吗
> 不管是Yi-6B还是Yi-6B-Chat应该都会有这个问题，但是在训练的时候这个INFO是没有影响的。 如果你想解决这个问题你可以将[此处](https://github.com/01-ai/Yi/blob/6d3863190ec9d7649bb9ea001d1d3680995c6a4d/finetune/utils/ds_utils.py#L41C14-L41C14)fp16设置为False 具体导致这个问题的原因请参考：[PKU-Alignment/safe-rlhf#21 (comment)](https://github.com/PKU-Alignment/safe-rlhf/issues/21#issuecomment-1562420980) 现在发现的导致原因是因为我用 Yi-6B 模型的 embedding 层 token 没经过训练，对应的向量数值非常小。 重新赋值后没问题了。
不好意思 semi_lazy的还没有发，交给别人接着做了
> re2需要加参数才能在x64上编译成功，你可以试试 `CMAKE_ARGS="-DGGML_CUBLAS=ON -DBUILD_SHARED_LIBS=ON -DCMAKE_CUDA_COMPILER=/usr/local/cuda/bin/nvcc" pip install .` 确实啊， CMakelist 加了 set(CMAKE_POSITION_INDEPENDENT_CODE ON) 解决了