Xudong

> 通用：垂直领域=1:1或者通用：垂直领域=5:1都可以，侧重点有区别； > > 如果是通用：垂直领域=1:1，就是比较侧重垂直领域； 如果是通用：垂直领域=5:1，就是在侧重通用的情况下增强垂直领域。 @czczup 请问，我全量微调InternVL2-8B（用了sft数据中的一部分VQA数据），最终在`ai2diagram_test`测试集上评测，发现accuracy下降的很严重（不如pretrained model），怎么训才能达到甚至超过pretrained model？ * 数据集用了`chartqa`、`ai2d`、`geoqa+` * 2张80G的GPU，并且`PER_DEVICE_BATCH_SIZE=1` * 由于卡数和显存不足，deepspeed用了`zero_stage3_config.json` * 其他超参保持默认 ``` set -x GPUS=${GPUS:-8} BATCH_SIZE=${BATCH_SIZE:-128} PER_DEVICE_BATCH_SIZE=${PER_DEVICE_BATCH_SIZE:-4} GRADIENT_ACC=$((BATCH_SIZE / PER_DEVICE_BATCH_SIZE / GPUS)) export...