Open-AnimateAnyone
Open-AnimateAnyone copied to clipboard
guoqincode
有办法降低一下显存占用吗
I'm sorry, but I found that tricks (FP16, BF16, etc.) that reduce the memory will reduce the performance of the model (NAN loss often occurs), so 80GB VRAM is best for normal training, 32GB VRAM is not enough.
V100 32G能不能训起来？
deepspeed可以降低stage1到33g左右，两卡。如果用更多的卡可以继续降一点。可以考虑用colossalai来卸载大部分参数和优化器状态到cpu上。但我没有尝试成功。。
V100 32G能不能训起来？
deepspeed可以降低stage1到33g左右，两卡。如果用更多的卡可以继续降一点。可以考虑用colossalai来卸载大部分参数和优化器状态到cpu上。但我没有尝试成功。。
您好。请问您可以提供将stage1降到两卡33G的 deepspeed版的代码吗？非常感谢
V100 32G能不能训起来？
deepspeed可以降低stage1到33g左右，两卡。如果用更多的卡可以继续降一点。可以考虑用colossalai来卸载大部分参数和优化器状态到cpu上。但我没有尝试成功。。
您好。请问您可以提供将stage1降到两卡33G的 deepspeed版的代码吗？非常感谢
可以参考摩尔线程的训练代码，通过accelerate启动deepspeed
V100 32G能不能训起来？
deepspeed可以降低stage1到33g左右，两卡。如果用更多的卡可以继续降一点。可以考虑用colossalai来卸载大部分参数和优化器状态到cpu上。但我没有尝试成功。。
您好。请问您可以提供将stage1降到两卡33G的 deepspeed版的代码吗？非常感谢
可以参考摩尔线程的训练代码，通过accelerate启动deepspeed
hello，我用摩尔线程的训练代码，deepspeed训练4步之后会卡住不动。请问您是用他们的代码+deepspeed成功了吗？可以介绍一下是怎么用的吗？
hello，我用摩尔线程的训练代码，deepspeed训练4步之后会卡住不动。请问您是用他们的代码+deepspeed成功了吗？可以介绍一下是怎么用的吗？
可能是种子问题吧，seed必须是摩尔线程代码的seed