InternEvo icon indicating copy to clipboard operation
InternEvo copied to clipboard

Published 20 hours ago • verified publisher icon InternLM

[QA] Internevo这个框架里面MoE支持expert parallel嘛？

Open Cerberous opened this issue 1 year ago • 1 comments

Describe the question.

请问大佬们 Internevo这个框架里面MoE支持expert parallel嘛？如果有的话怎么使用呢？不然直接训练MoE感觉tflops很低

Cerberous avatar Jun 18 '24 10:06 Cerberous

@Cerberous 目前默认是使用expert parallel策略的，即专家分布在多个设备上进行计算。目前暂时还不支持用户设置expert parallel size。https://github.com/InternLM/InternEvo/pull/240 提供了用户在配置文件里设置ep_size的功能。

blankde avatar Jun 28 '24 14:06 blankde