Bilang ZHANG comments

Repositories
Issues
Comments

Results 1 comments of


                                            Bilang ZHANG

LLMC 升级 transformers 版本 lmms_eval 版本支持 Qwen2.5-VL-7B 模型，同时配置 vision 和 language , 按 GPTQ 量化，好像支持不了同时量化呢

您好，感谢您对我们工作的认可与指正，我们仔细核对了代码，确实存在这方面的bug，现已更新，请查看问题回复： 1、quant_objects: [vision, language] 废案，已更新移除 2、deploy_fake_quant_model 之前vision部分未显式展示，已更新 3、merger部分视为projector, llmc中当时是不量化的。这次已更新解决其未量化带来的bug报错。如果需要projector量化，可先做不量化的，然后写一个naive量化的脚本，把projector转量化 4、可以，需vision 和 language 分开配置，已更新参考config

Bilang ZHANG

LLMC 升级 transformers 版本 lmms_eval 版本支持 Qwen2.5-VL-7B 模型， 同时配置 vision 和 language , 按 GPTQ 量化，好像支持不了同时量化呢

LLMC 升级 transformers 版本 lmms_eval 版本支持 Qwen2.5-VL-7B 模型，同时配置 vision 和 language , 按 GPTQ 量化，好像支持不了同时量化呢