18780165950

> > I guess u can get it by using sample_token of nuScenes dataset from trainval? > > Hi dongshen, > > did you successfully make the mini dataset? I'm...

> 需要从[这里](https://huggingface.co/sunzeyeah/pangu-2_6B)下载pangu-2.6B模型文件 好像是vocab.model有问题，加载不了，我用的pangu-350M也是这个问题

> > 需要从[这里](https://huggingface.co/sunzeyeah/pangu-2_6B)下载pangu-2.6B模型文件 > > 好像是vocab.model有问题，加载不了，我用的pangu-350M也是这个问题 版本问题，我降了了transformers版本，然后就ok了。

> 这个原因应该是系统认为在运行`deepspeed.initialize()`之前`world_size`一直都是1，所以`ds_config['train_batch_size']`不需要乘上`world_size`。只能在运行`deepspeed.initialize()`之前，才把`ds_config['train_batch_size']`改为乘上`world_size`。 > > RL部分的代码还没来得及修复这个问题，具体可以参见[pretrain_wo_trainer.py 第220-221行](https://github.com/sunzeyeah/RLHF/blob/master/src/pretrain_wo_trainer.py#L220-L221)和[pretrain_wo_trainer.py 第292行](https://github.com/sunzeyeah/RLHF/blob/master/src/pretrain_wo_trainer.py#L292) 具体咋解决呢