oneflow-documentation
oneflow-documentation copied to clipboard
nn.Graph Tutorial of Pipieline Parallel
pipeline,需要完善教程,发现中兴killy,使用pipeline时,只配置了stage但是没有配置grad acc.
或者这个可以做成自动的? 比如发现 stage id 配置以后,自动设置 grad acc steps from @chengtbf
这个我跟文骁讨论过一次了,不仅是 grad acc 要自动, Checkpointing 也要自动, 且不需要用户配置 stage id,只需要说我要做 pipeline 就行了。因为 stage id 很可能配错