yuanlisky

我也loading特别慢，像是在下载？

我loading VIT要1个多小时，你那边也一样吗，算是有问题吗，能加速loading吗

> 这个好像就是下载的，根据网速不同下载时间不一样 每一次都这样吗，还是就第一次需要下载？

13B stage2 finetune in my case, the initial loss is 3.8, epoch 4, 200 iters, the best loss is 1.9

``` ERROR:torch.distributed.elastic.multiprocessing.api:failed (exitcode: -9) local_rank: 0 (pid: 198787) of binary: /home/ocr/anaconda3/envs/minigpt4/bin/python Traceback (most recent call last): File "/home/ocr/anaconda3/envs/minigpt4/bin/torchrun", line 8, in sys.exit(main()) File "/home/ocr/anaconda3/envs/minigpt4/lib/python3.9/site-packages/torch/distributed/elastic/multiprocessing/errors/__init__.py", line 346, in wrapper return f(*args,...

> 主要是clip训练的时候没中文，所以如果想拥有中文且不损失原有能力还是挺难的。我们下个版本应该会考虑这个问题，但是这个版本如果要增加的话，我猜测有难度，但是也不确定。 您好，这个clip训练是指的对齐之后的微调吗，我看readme里有介绍，训练BLIP2的时候是有用到中文数据的