LZK_USTC

同样的问题，转化的代码都在GPU上运行，是爆显存了。作者的模型转化代码能不能在CPU上完成？我的机器是3090*2，用的模型时vicuna13B, 但有一张爆显存了就爆了。或者你的代码可以设置一个gpu显存均衡。

> 我这边也试了下，int8与Int4 显存占用都很多，等大佬优化吧 你好，请问int4的话llm.from_hf(model, tokenizer, dtype="")中的dtype填什么？

> > FastLLM Error: Linear's weight's shape error 请问这是什么问题呢？fp16的可以正常运行。 > > int4模型是官方的int4模型吗？ readme里可能没说清楚，from_hf里的模型不能是量化模型，需要使用量化模型可以把dtype指定为int8或者int4 你好 model = llm.from_hf(model, tokenizer, dtype = "int4")报错： Linear's weight's shape's size should be 2. 这个有什么办法吗？我是vicuna-13b-4bit-GPTQ，原来fp16的HF模型会爆显存。

> > Do you fix this bug? I have met this problem tooooo. orz > > ok, I worked out. I guess the reason for this problem is because you...

Hi, I meet a bug during resampling.py as follow: Traceback (most recent call last): File "resampling.py", line 209, in resImg, resMsk = rectification(distortedImg, flow) File "resampling.py", line 194, in rectification...

> 具体模型的链接有吗 我这边转的vicuna1.3回答看起来是正常的 大佬你的vicuna是13B的吗？用哪一个平台的代码跑的呀？我尝试在Fastchat上加入你的.flm模型，但调用不了。

> Sorry for the late replay, I can do awq normally through: > > ```shell > lite auto_awq llava-v1.6-34b --work-dir llava-v1.6-34b-awq --calib-seqlen 512 --calib-dataset pileval > ``` thank you for...

> 不要用官方的导出方式，使用以下命令导出即可，感觉很乱啊 swift export --model_type internvl3 --template internvl2_5 --merge_lora True --output_dir XXX --ckpt_dir XXX 这个work吗？不是应该有三个地址吗，微调完一个lora的checkpoint，还有一个基本模型，以及merge后输出的模型

> swift export --model_type internvl3 --template internvl2_5 --merge_lora True --output_dir XXX --ckpt_dir XXX 好像--model_type还不支持internvl3:ValueError: model_type: 'internvl3' not in ['emu3_gen', 'emu3_chat', 'baichuan', 'baichuan_m1', 'baichuan2', 'modern_bert', 'modern_bert_gte', 'bert', 'chatglm2', 'chatglm3', 'glm4', 'longwriter_llama3_1',...

> > merge-lora是使用命令行方式做的嘛 > > > 我也有这个问题，web上微调后，再使用web页面的推理，都正常，导出lora检查点合并模型权重后，丢失微调的内容 导出命令： swift export --adapters /home/data/llm_train/ms-swift/ms-swift/output/bg_vl_out/3/v0-20250424-164656/checkpoint-270 --merge_lora true 部署使用方法是： swift deploy --model /home/data/llm_train/ms-swift/ms-swift/output/bg_vl_out/3/v0-20250424-164656/merge/3 --infer_backend pt --temperature 0.3 --max_new_tokens 2048 --served_model_name 'bg_vl' > > 请问这个合并目前有样例吗...