RRHF icon indicating copy to clipboard operation
RRHF copied to clipboard

Published 20 hours ago • verified publisher icon GanjinZero

训练过程OOM的问题

Open Guochry opened this issue 1 year ago • 1 comments

您好！我想要在自己的数据集上复现RRHF的工作，用原始脚本用八张A100运行会在训练开始前就报错OOM。以及RRHF的训练可以使用两张A100，打开gradient_checkpointing来实现吗？ 万分感谢！

Guochry avatar Aug 21 '23 17:08 Guochry