ms-swift icon indicating copy to clipboard operation
ms-swift copied to clipboard

swift 量化多模态大模型internvl2-26B,报错

Open wangdong1992 opened this issue 1 year ago • 5 comments

Describe the bug What the bug is, and how to reproduce, better with screenshots(描述bug以及复现过程,最好有截图)

TypeError: swift.llm.utils.model.get_model_tokenizer_from_repo() got multiple values for keyword argument 'automodel_class' image

Your hardware and system info Write your system info like CUDA version/system/GPU/torch version here(在这里给出硬件信息和系统信息,如CUDA版本,系统,GPU型号和torch版本等) swift==2.2.3 torch=2.2.2+cu121 GPU:L20 系统:Ubuntu 22.04.4 LTS Additional context Add any other context about the problem here(在这里补充其他信息)

wangdong1992 avatar Jul 26 '24 08:07 wangdong1992

代码行数对不上,能否拉下最新的main分支试一下是否报错

tastelikefeet avatar Jul 26 '24 08:07 tastelikefeet

多模态量化 还没有支持

Jintao-Huang avatar Jul 26 '24 08:07 Jintao-Huang

可以稍等1周吗

Jintao-Huang avatar Jul 26 '24 08:07 Jintao-Huang

可以稍等1周吗

好的 期待!

wangdong1992 avatar Jul 26 '24 08:07 wangdong1992

可以稍等1周吗

请问现在支持了吗

wangdong1992 avatar Aug 05 '24 01:08 wangdong1992

请问在v2.4会支持吗?

demoninpiano avatar Aug 19 '24 15:08 demoninpiano

可能还要稍等等

tastelikefeet avatar Aug 28 '24 08:08 tastelikefeet

可能还要稍等等

请问近期会支持吗

ymlab avatar Aug 31 '24 15:08 ymlab

supported

gptq

Jintao-Huang avatar Feb 09 '25 16:02 Jintao-Huang