xtuner icon indicating copy to clipboard operation
xtuner copied to clipboard
Published 1 week ago • verified publisher icon InternLM

xtuner是不是不支持internvl2.5 1B的那个模型

Open cooperong opened this issue 10 months ago • 3 comments

xtuner是不是不支持internvl2.5 1B的那个模型？

cooperong avatar Mar 05 '25 01:03 cooperong

应该是支持的，试试这个？#872

Weili-0234 avatar Mar 13 '25 05:03 Weili-0234

https://github.com/HIT-cwh/xtuner/blob/main/xtuner/configs/internlm/internlm2_5_chat_20b/internlm2_5_chat_20b_alpaca_e3.py

Weili-0234 avatar Mar 13 '25 05:03 Weili-0234

我试过1B模型的微调，由于1B 模型跟 2B模型的 Language Part 不一样，直接执行微调命令，会有一个 NotImplementedError 的报错。 InternVL2-1B 的 Language Part 是 Qwen2-0.5B-Instruct，找到 /root/code/XTuner/xtuner/dataset/internvl_dataset.py 的 160 行，修改一下即可，具体见https://mp.weixin.qq.com/s/S9infKgWo-J_TCNES42Vig

HelloWarcraft avatar May 11 '25 07:05 HelloWarcraft