Luccadoremi
Luccadoremi
发现单独多模态数据 或者 纯文本数据fintune就不会有问题 但如果混合纯文本指令数据和多模态指令数据一起训练，会卡住。处理数据的逻辑可能有问题？
Qwen-VL-Chat-Int4只有lora和qlora的fintune 脚本，请问可以full finetune吗？
使用以下命令对qwen_vl_chat多模态模型量化失败，请问目前支持多模态模型的量化吗？ ############################## CUDA_VISIBLE_DEVICES=6 swift export \ --model_type qwen-vl-chat \ --quant_bits 4 \ --dataset coco-en-mini \ --quant_method gptq \ --quant_output_dir output/quant ############################# 报错信息 ############################ Traceback (most recent call last): File "/miniconda/lib/python3.9/site-packages/swift/cli/export.py",...
纯文本指令和图片指令数据混合训练会卡死，请问后续是否会支持？ 训练脚本如下 ###################################### SIZE_FACTOR=6 MAX_PIXELS=602112 \ NPROC_PER_NODE=6 CUDA_VISIBLE_DEVICES=0,3,4,5,6,7 \ swift sft \ --model_type qwen2-vl-72b-instruct \ --model_id_or_path ./hf/qwen2-vl-72b-instruct \ --output_dir output/qwen2-vl-72b-instruct-$train_type \ --sft_type lora \ --custom_dataset_info mydata.json \ --dataset $data \...