54457616

> 通过修改源码可以在win上运行： > > 1、拉BMTrain源码本地 > > 2、去掉BMTrain的setup中nccl扩展模块 > > 3、把BMTrain中用到nccl的地方改用torch.cuda.nccl > > 4、编译BMTrain到你的CPMBee环境 > > 简单跑了一下1b，还有待进一步学习，看楼上老哥的回复，采用作者的nccl结果应该更好。 ˉˉ能说下具体改了哪些文件吗？这边改动会出错 《把BMTrain中用到nccl的地方改用torch.cuda.nccl》