ZJ comments

Repositories
Issues
Comments

Results 2 comments of

ZJ

Qwen2.5VL 3B calibration using awq takes too long

Qwen2_5VL ? AttributeError: 'Qwen2_5_VLModel' object has no attribute 'layers' self.model.model.embed_tokens ? self.rotary_emb = self.model.model.rotary_emb ?

LLMC 升级 transformers 版本 lmms_eval 版本支持 Qwen2.5-VL-7B 模型，同时配置 vision 和 language , 按 GPTQ 量化，好像支持不了同时量化呢

感谢，我后面更新代码试一下，谢谢

ZJ

Qwen2.5VL 3B calibration using awq takes too long

LLMC 升级 transformers 版本 lmms_eval 版本支持 Qwen2.5-VL-7B 模型， 同时配置 vision 和 language , 按 GPTQ 量化，好像支持不了同时量化呢

LLMC 升级 transformers 版本 lmms_eval 版本支持 Qwen2.5-VL-7B 模型，同时配置 vision 和 language , 按 GPTQ 量化，好像支持不了同时量化呢