Liao Jianjin
Results
1
comments of
Liao Jianjin
> > 可以在一部分结构上用 `torch_scope` 这个接口包一下，在 torch scope 里面的部分会用使用 fp32 进行训练，例如 moe 的例子里： > > https://github.com/Tencent/PatrickStar/blob/0731c6ed2065e62d0cd489813b4e162880a5ab51/examples/moe/moe_bert.py#L53-L64 > > > > 不过注意，如果只是要把一层设置为 fp32 的话，这里的 `do_allreduce` 应该设置为 `True` > > 妙啊，意思是这块是torch在管理的，不需要ps参与？ 应该是的，torch_scope 把...