PaddleSOT icon indicating copy to clipboard operation
PaddleSOT copied to clipboard

Bert模型子图数量和质量优化

Open 0x45f opened this issue 1 year ago • 0 comments

背景:目前我们已经在Bert模型上跑通了symbolic-trace的训练流程,但是只有两个较小的子图进行了静态图的组网,大部分代码还跑在动态图下

目标:优化symbolic-trace的代码,消除unsupport的情况,使得Bert模型在symbolic-trace下有更优的子图质量(最理想情况下只有一个子图,并且所有组网相关的代码都在这个子图中)

思路:目前我们在跑通bert训练流程的过程中,整理了一个文档,记录了遇到的问题、相关排查的思路以及已经暴露的问题。可以重点关注下面PDF中的第二章和第四章了解一下排查的思路,尝试解决第五章中列出的相关问题

Bert跑通symbolic_trace.pdf

0x45f avatar Jun 05 '23 13:06 0x45f