xtuner 近期是否考虑支持llava 1.6 34B 的模型微调呢？

近期是否考虑支持llava 1.6 34B 的模型微调呢？

Open awzhgw opened this issue 10 months ago • 6 comments

llava 1.6现在很火啊近期是否考虑支持llava 1.6 34B 的模型微调呢？

Apr 09 '24 01:04 awzhgw

这个 34b 模型微调是指的从头复现？还是指的加载他们的权重继续微调？

Apr 09 '24 09:04 hhaAndroid

@hhaAndroid 加载他们的模型权重，继续微调哈。。

Apr 10 '24 01:04 awzhgw

@hhaAndroid https://github.com/InternLM/xtuner/pull/460 这个PR，我看已经做了这个事情。。近期会合并该PR吗？

Apr 10 '24 01:04 awzhgw

@hhaAndroid 什么时候支持：加载https://huggingface.co/liuhaotian/llava-v1.6-34b 这个权重，进行微调呢？ @hhaAndroid

Apr 10 '24 03:04 awzhgw

@awzhgw 感谢你的关注，这个我们接下来会支持，应该就这两个礼拜

Apr 22 '24 11:04 hhaAndroid

@hhaAndroid 近期应该首先支持：llava 1.6 + llama3 8B 或者llava 1.6 +llama3 70B ..

Apr 24 '24 13:04 awzhgw