InternEvo
InternEvo copied to clipboard

Published 20 hours ago •

Reame
Issues

[QA] 关于使用张量并行或流水线并行的模型切分与合并问题

Open BaiBlanc opened this issue 1 year ago • 0 comments

trafficstars

描述问题

请问基于一个书生格式的ckpt希望做张量并行或流水线并行，需要自己切分模型以适配对应的并行度吗？直接加载会报错，官方有提供相应的脚本吗？

Apr 02 '24 12:04 BaiBlanc