InternVL icon indicating copy to clipboard operation
InternVL copied to clipboard
Published 3 months ago • verified publisher icon OpenGVLab

请问InternVL_1.5_26B的LoRA微调版本什么时候能出来？

Open McCarthyjfq opened this issue 1 year ago • 4 comments

目前有1.2版本的LoRA微调，但是我用到1.5版本的模型上显示了一些权重匹配上的问题，即某些权重层的key不一样。想问一下有什么解决方案，我现在的算力不支持我用full llm。1.5版本的LoRA微调什么时候可以release？

McCarthyjfq avatar May 21 '24 06:05 McCarthyjfq

同问一手，有没有发行计划呢？

zhangye0402 avatar May 22 '24 08:05 zhangye0402

@czczup 同问一下，什么时候可以发布

MVP-D77 avatar May 23 '24 07:05 MVP-D77

亲测1.2版本的lora微调可以用在1.5版本上，但需要做以下更改 image

McCarthyjfq avatar May 23 '24 07:05 McCarthyjfq

亲测1.2版本的lora微调可以用在1.5版本上，但需要做以下更改 image

同时merge lora的权重时可以借鉴swift库

McCarthyjfq avatar May 23 '24 07:05 McCarthyjfq

亲测1.2版本的lora微调可以用在1.5版本上，但需要做以下更改 image

同时merge lora的权重时可以借鉴swift库

merge lora这里有更具体一些的代码吗 swift封装太深 没太看明白。。

BlueBlueFF avatar Jun 27 '24 03:06 BlueBlueFF