Zeye Sun

需要从[这里](https://huggingface.co/sunzeyeah/pangu-2_6B)下载pangu-2.6B模型文件

这个原因应该是系统认为在运行```deepspeed.initialize()```之前```world_size```一直都是1，所以```ds_config['train_batch_size']```不需要乘上```world_size```。只能在运行```deepspeed.initialize()```之前，才把```ds_config['train_batch_size']```改为乘上```world_size```。 RL部分的代码还没来得及修复这个问题，具体可以参见[pretrain_wo_trainer.py 第220-221行](https://github.com/sunzeyeah/RLHF/blob/master/src/pretrain_wo_trainer.py#L220-L221)和[pretrain_wo_trainer.py 第292行](https://github.com/sunzeyeah/RLHF/blob/master/src/pretrain_wo_trainer.py#L292)

ViT的输入就是一张图片，会转换成patch之后输入到transformer，最终通过pooling得到这张图片的向量化表示。当然电商的图片无效信息比较多，一般是需要做目标检测的预处理，把相关物品提取出来，再作为ViT的输入 需要对比2张图片是否相似的话，就计算这2张图片的向量相似度作为度量

> 百度网盘的速度实在是太慢了，我查看了[天池](https://tianchi.aliyun.com/competition/entrance/531956/information)，但是比赛过期无法报名下载数据集。我查看了[OpenBG](https://tianchi.aliyun.com/dataset/122271)，提交了审核，但是我注意到该网站上的文件似乎不太一样，且不知道是否能审核通过。如果能提供其他的下载方式就太感谢了！ 目前就只有百度网盘的链接