oneflow-documentation icon indicating copy to clipboard operation
oneflow-documentation copied to clipboard

nn.Graph Tutorial of Pipieline Parallel

Open strint opened this issue 3 years ago • 1 comments

pipeline,需要完善教程,发现中兴killy,使用pipeline时,只配置了stage但是没有配置grad acc.

或者这个可以做成自动的? 比如发现 stage id 配置以后,自动设置 grad acc steps from @chengtbf

strint avatar Mar 21 '22 14:03 strint

这个我跟文骁讨论过一次了,不仅是 grad acc 要自动, Checkpointing 也要自动, 且不需要用户配置 stage id,只需要说我要做 pipeline 就行了。因为 stage id 很可能配错

chengtbf avatar Mar 21 '22 15:03 chengtbf