thinksee

这个是啥软件呀，是不是在评估呢

一条一条推理太慢了吧，有没有提效的trick呀

验证是可以修改图片大小，目前我设置为540，但是效果还没评估？

[2023-05-30 17:16:28,151] [INFO] [RANK 0] > Set tokenizer as a /mnt/benteng.bt/chatglm-6b tokenizer! Now you can get_tokenizer() everywhere. Image processing: 0%|▌ | 82/33319 [01:09

如何设置使用gpu处理图片呀 

+1 目前单卡推理也太慢了 30w的数据批量产出 24h还没解决。

维度没对齐呀

$sh finetune/finetune_visualglm_qlora.sh NCCL_DEBUG=info NCCL_IB_DISABLE=0 NCCL_NET_GDR_LEVEL=2 deepspeed --master_port 16666 --include localhost:0 --hostfile hostfile_single finetune_visualglm.py --experiment-name finetune-visualglm-6b --model-parallel-size 1 --mode finetune --train-iters 300 --resume-dataloader --max_source_length 64 --max_target_length 256 --lora_rank 10 --layer_range 0...

pip install bitsandbytes --upgrade

https://github.com/Vision-CAIR/MiniGPT-4 是不是通过这个进行魔改的呢