InternVL
InternVL copied to clipboard
InternVL3.5微调性能不佳
我使用官方的脚本在同样的业务数据上SFT,InternVL2.5-4B的效果会比InternVL3-4B会好1.5%。数据是单张图片的单轮问答。 官方的训练脚本参数是否有优化空间,还是新版模型很难适用于下游任务?
1.5%的性能波动一般而言算是随机扰动了,可以多调整一下超参数,或者多提供一些实验细节啥的,比如数据量、评测setting这些