Lumina-T2X icon indicating copy to clipboard operation
Lumina-T2X copied to clipboard

Published 20 hours ago • verified publisher icon Alpha-VLLM

[fix] fix for apex usage

Open FEIFEIEIAr opened this issue 9 months ago • 3 comments

model.py里对RMSNorm的import有问题，应该import components中的。

FEIFEIEIAr avatar May 13 '24 07:05 FEIFEIEIAr

你好，感谢您的贡献，这里是需要使用 apex 的 FusedRMSNorm，不然训练的时候会爆显存，推理的时候可不用。

PommesPeter avatar May 13 '24 10:05 PommesPeter

你好，感谢您的贡献，这里是需要使用 apex 的 FusedRMSNorm，不然训练的时候会爆显存，推理的时候可不用。

您好！

  • 现在的model.py是只引用了apex。因为readme里面写的apex是可选的，如果没装apex的话，这样直接推理会报错 image

  • components.py里是这样import的方式才是正确的。所以改成在model里直接import components就行了。 image

或者您可能需要修改readme，或者加是否引用apex的参数

FEIFEIEIAr avatar May 14 '24 02:05 FEIFEIEIAr

你好，感谢您的贡献，这里是需要使用 apex 的 FusedRMSNorm，不然训练的时候会爆显存，推理的时候可不用。

您好！

  • 现在的model.py是只引用了apex。因为readme里面写的apex是可选的，如果没装apex的话，这样直接推理会报错 image
  • components.py里是这样import的方式才是正确的。所以改成在model里直接import components就行了。 image

或者您可能需要修改readme，或者加是否引用apex的参数

好的，感谢您修复代码的问题，这是我们 release 时候的问题，稍后再补充一些修改就可以 merge 了。

PommesPeter avatar May 14 '24 11:05 PommesPeter