yutong12
Results
1
issues of
yutong12
Hi, 我正在复现您在本仓库提到的activate-beacon方法，并期望在训练结果上得到您在论文提到的相近分数 但在复现过程中遇到如下问题： 0. 我们的复现环境是8卡RTX3090，看到您提供的环境是8卡A800，不知道您的是40G还是80G。如果在这种比较小的显存平台上跑起来需要做哪些改进呢？或者说有无改进显存消耗而不显著影响性能的指标可以调整？ 1. 您提供的train脚本似乎是针对deepspeed zero2进行的处理，我尝试换用zero3(通常zero3能比2节省显存)，即您提供的data目录下的deepspeed/stage3.json脚本运行，提示参数权重不对，有无更新方式？ 2. 我的最终目标是在8卡24G显存的训练平台上进行复现，复现分数与您在论文中的分数相近即可 烦请您在百忙之中解答我的疑问，祝您生活愉快！