swift

swift copied to clipboard

可以支持一下InternLM2-Math-Plus-Mixtral8x22B的微调吗

1

这个模型效果非常不错,数学上面接近gpt4o了

zhangfan-algo

infer 无法跑完所有data

12

CUDA_VISIBLE_DEVICES=0 \ NPROC_PER_NODE=1 \ nproc_per_node=1 \ swift infer \ --ckpt_dir "output_llava/llava1d6-mistral-7b-instruct/v32-20240524-165418/checkpoint-2003" \ --custom_val_dataset_path finetune_dataset/test.json \ --repetition_penalty 1. \ --merge_lora false \ --show_dataset_sample "-1" \ 我的test.json有5万条，但是跑这个代码时只显示有1千条 2.0.5版本无法完成infer所有data，2.0.4的可以。麻烦修改一下bug

AlexJJJChen

使用以下命令对qwen_vl_chat多模态模型量化失败，请问目前支持多模态模型的量化吗？ ############################## CUDA_VISIBLE_DEVICES=6 swift export \ --model_type qwen-vl-chat \ --quant_bits 4 \ --dataset coco-en-mini \ --quant_method gptq \ --quant_output_dir output/quant ############################# 报错信息 ############################ Traceback (most recent call last): File "/miniconda/lib/python3.9/site-packages/swift/cli/export.py",...

Luccadoremi

微调qwen后会循环输出

8

  ![Uploading image.png…]()

sherry085

多模态提前将图片处理，然后再训练LLM

1

**Describe the feature** 多模态提前将图片处理，然后再训练LLM

choyakawa

**Describe the bug** 使用swift sft命令指定dataset 和val_dataset 进行微调: ```bash CUDA_VISIBLE_DEVICES=0 swift sft --model_type minicpm-v-v2-chat ``` 20 个核心全部占用60%左右  **Your hardware and system info** CUDA：12.2 系统：Ubuntu22.04 GPU：RTX4090 Torch：2.2.2 **Additional context** Add any...

strawhatboy