swift

swift copied to clipboard

自我认知微调没有起作用

4

依据官方文档中的步骤对CodeQwen1.5-7B-Chat进行微调，流程全部跑通了，但是加载数据后并没有看出微调后的效果，甚至于自我认知微调都没有work  ```python sft_args = SftArguments( model_type=ModelType.codeqwen1half_7b_chat, model_id_or_path="qwen/CodeQwen1.5-7B-Chat", # dataset=[DatasetName.coig_cqia_chinese_traditional], custom_train_dataset_path=["F:/AAA/train.json"], train_dataset_sample=1000, logging_steps=5, max_length=2048, learning_rate=5e-5, warmup_ratio=0.4, output_dir='output', lora_target_modules=['ALL'], self_cognition_sample=500, dataloader_num_workers=0, model_name=['小黄', 'Xiao Huang'], model_author=['魔搭', 'ModelScope']) ``` train.json中只有1条数据，复制了100遍，训练完之后也没有work ```python # Experimental...

Alexie-Z-Yevich

运行失败

8

(swift) [sunkaijie@localhost swift]$ CUDA_VISIBLE_DEVICES=0 swift infer --model_type llava1d6-mistral-7b-instruct run sh: `python /home/sunkaijie/project/swift/swift/cli/infer.py --model_type llava1d6-mistral-7b-instruct` 2024-04-22 08:11:33,587 - modelscope - INFO - PyTorch version 2.2.2 Found. 2024-04-22 08:11:33,588 - modelscope -...

SunLang115

在自定义数据集上微调多模态大模型

7

请问：在cli上运行时，如何使用自定义的数据集； 例如：微调MiniCPM-V时候，找不到对应的sft.sh，只找到了minicpm_2b_sft_chat和minicpm_moe_8x2b；然而利用cli： **# Experimental environment: A10, 3090, V100, ... **# 10GB GPU memory** CUDA_VISIBLE_DEVICES=0 swift sft \ --model_type minicpm-v-3b-chat \ --dataset coco-mini-en-2 \** 是否需要修改--dataset？ 还是怎么做，我找不到相关方法，能否提供更加易懂和全面的信息及方法。

SunLang115

# PR type - [x] Bug Fix - [ ] New Feature - [ ] Document Updates - [ ] More Models or Datasets Support # PR information Write the...

Firmament-cyou

**Describe the feature** Please describe the feature requested here(请在这里描述需求) **Paste any useful information** Paste any useful information, including papers, github links, etc.(请在这里描述其他有用的信息，比如相关的论文地址，github链接等) **Additional context** Add any other context or information...

changqinyao

希望可以添加Chinese-LLaMA-Alpaca-2 模型微调的支持

1

**Describe the feature** Please describe the feature requested here(请在这里描述需求) **Paste any useful information** Paste any useful information, including papers, github links, etc.(请在这里描述其他有用的信息，比如相关的论文地址，github链接等) https://github.com/ymcui/Chinese-LLaMA-Alpaca-2 **Additional context** Add any other context or...

jackyangjie

用swift如何对千问1.5-chat-14b模型预训练呢

8

你好 我看swift框架上都是对模型的微调，有预训练的功能吗？ 请问，如何用swift对千问1.5-chat-14b模型预训练呢？数据格式有什么什么样子的呢？ 或者有对应的预训练脚本吗？ 谢谢！

sxk000

Value Error("Please setting '--model_type <model_type>'")

3

**Describe the bug** 推理llama-3-8B模型显示没有这个类型的模型  **Your hardware and system info** 这个是因为还未支持llama3吗？看README说已经支持了 **Additional context**

echo-valor

是否可以微调llava 1.6 34B

5

**Describe the feature** Please describe the feature requested here(请在这里描述需求) **Paste any useful information** Paste any useful information, including papers, github links, etc.(请在这里描述其他有用的信息，比如相关的论文地址，github链接等) **Additional context** Add any other context or information...

Mr-Loevan

**Describe the feature** 希望可以支持JetMoE系列 **Paste any useful information** https://huggingface.co/jetmoe/jetmoe-8b-chat

WSC741606