关于路由查询链接个数为8的权重？

Open Lelege0 opened this issue 3 months ago • 0 comments

作者您好，很有兴读到了这么好的文章，请问能分享一下路由链接查询为8的权重吗？想用一下其中的路由查询链接的emb的权重，我们跳过了一阶段，直接二阶段开始训练8token随即初始化之后发现效果比用4token的权重效果差一些，因为想请问是否可以分享一下8token的权重，谢谢！

Sep 19 '25 06:09 Lelege0