InternLM-XComposer icon indicating copy to clipboard operation
InternLM-XComposer copied to clipboard

InternLM-XComposer2-VL -> InternLM-XComposer2 的训练脚本

Open guikunchen opened this issue 11 months ago • 1 comments

请问从InternLM-XComposer2-VL得到InternLM-XComposer2的训练应该怎么做呢? 是采用https://github.com/InternLM/InternLM-XComposer/blob/main/finetune 这里的 code吗? 如果是的话,

  1. 指定 pretrained path 为 VL 版本的 path。 2.1. image size 设置成 224 ,训练代码报错,提示模型 dimension 不匹配。 2.2. image size 设置成 490 ,训练速度非常慢。(数据同样是图文创作数据,一句话里有多张图像) 不太确定为什么两个版本要特地区分 image size,以及 VL 模型做 instruction fine-tune 的代码。感谢🙏

guikunchen avatar Mar 15 '24 04:03 guikunchen

图像size越大,占用的token越多,同理问答能力会更强,所以vl版本专注于问答能力,需要大size图像;非vl版估计聚焦于长文本创作,因此降低了图像size,减少token占用。 以上是个人猜测

alexhe101 avatar Mar 22 '24 05:03 alexhe101