[QA] Internevo这个框架里面MoE支持expert parallel嘛？

[Cerberous]

Describe the question.

请问大佬们 Internevo这个框架里面MoE支持expert parallel嘛？如果有的话怎么使用呢？不然直接训练MoE感觉tflops很低

[blankde]

@Cerberous 目前默认是使用expert parallel策略的，即专家分布在多个设备上进行计算。目前暂时还不支持用户设置expert parallel size。https://github.com/InternLM/InternEvo/pull/240 提供了用户在配置文件里设置ep_size的功能。