InternEvo icon indicating copy to clipboard operation
InternEvo copied to clipboard

Published 20 hours ago • verified publisher icon InternLM

[Bug] 仅支持了GShard模式的MoE模型转huggingface

Open Cerberous opened this issue 1 year ago • 0 comments

Describe the bug

  1. 之前给出的脚本仅支持了GShard MoE训练的方式转化hf的脚本，但是如果用MegaBlock进行训练的话权重转换脚本就不适用了。
  2. 仍然未提供已经训练好的Internevo的权重转换成internevo MoE权重的脚本。

Environment

官方镜像

Other information

No response

Cerberous avatar Jul 16 '24 09:07 Cerberous