swift

swift copied to clipboard

Eval 模块使用时 C-Eval 进行测试时，让人不确定日志输出

1

**Describe the bug** Eval 模块使用时 C-Eval 进行测试时，会大量重复出现 [INFO:modelscope] dataset_type: 1 [INFO:modelscope] dataset_type: 1 [INFO:modelscope] dataset_type: 1  这让我怀疑程序是否卡死，直到想起C-Eval拥有大量推理科目时才明白程序在做什么 希望能优化这个问题

ShuMengZ

目前测试数据上下文比较长，且无法缩短。请教一下有没有方法可以支持一下更长的上下文 

zhangfan-algo

**Describe the bug** SftArguments 数据参数如下设置，其他无关均省略 dataset=[f'{DatasetName.alpaca_zh}#100', f'{DatasetName.alpaca_en}#50', f'{DatasetName.self_cognition}#250'] custom_train_dataset_path=["./data/faq_train.jsonl"], custom_val_dataset_path=["./data/faq_valid.jsonl"], dataset_test_ratio 默认为0.01，这导致了 custom_train_dataset_path和custom_val_dataset_path传入路径时，均按照0.01进行了切分，且把custom_train_dataset_path和custom_val_dataset_path里面99%的内容作为训练，1%的内容作为验证集，不合符逻辑设定。 swift版本：commitId:845ac0ce46c4b904a809e3570e8dfb830f9b4e00

tiandiweizun

npu版本支持

5

目前npu都支持哪些训练和哪些模型？在使用npu微调72b_chat模型的时候总是报错

jhjiang10

# PR type - [ ] Bug Fix - [ ] New Feature - [ ] Document Updates - [x] More Models or Datasets Support # PR information https://github.com/modelscope/swift/issues/908

hjh0119

InternVL-Chat 1.5 Fine-Tune About Visual Grounding Task

1

有关InternVL-Chat 1.5最佳实践中所提到的微调过程，想问下可以对Visual Grounding任务进行微调么？以及如果可以的话，prompt模板是什么样子的？ ``` { "id": "n0167", "image": "xxxxx", "conversations": [ { "from": "human", "value": "\nPlease provide the bounding box coordinate of the region this sentence describes: xxx" }, {...

MVP-D77

有关Internvl-1.5的微调实验（AttributeError: 'NoneType' object has no attribute 'shape'）

2

@hjh0119 在1.5版本微调训练结束后，按照教程里面的推理命令，并加载了本地的权重，我使用的infer命令如下： ``` CUDA_VISIBLE_DEVICES=0,1 swift infer --ckpt_dir output/internvl-chat-v1_5/v0-20240512-191616/checkpoint-25 --load_dataset_config true --dtype bf16 --model_id_or_path xxxxx/InternVL/pretrained/InternVL-Chat-V1-5 ``` 但在加载后出现了报错情况，不知之前测试时有没有发生 ``` Traceback (most recent call last): File "/data2/renyw/PythonWorkspace/FM-LLM/swift/swift/cli/infer.py", line 5, in infer_main() File "/data2/renyw/PythonWorkspace/FM-LLM/swift/swift/utils/run_utils.py",...

MVP-D77

自我认知 KeyError: 'self-cognition#500'

2

**Describe the bug** What the bug is, and how to reproduce, better with screenshots(描述bug以及复现过程，最好有截图) 使用UI 生成的命令行使用 `--self_cognition_sample` 参数（用这个参数是可以微调成功的），但是文档里又说该参数已经废弃，请使用`--dataset` , 使用新参数是报错的。  **Your hardware and system info** Write your system info...

hydra-bu

2.0.4之后的版本的显存使用问题

5

**Describe the bug** 自从支持lisa以后，8个v100可以全参数微调32b了 我一直是用main分支源码安装使用swift的，最近几天发现同样入参的微调命令，以前可以运行，现在会报显存不足的问题 ``` CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 NPROC_PER_NODE=1 \ swift sft --sft_type full \ --model_type qwen1half-32b-chat \ --dataset ms-bench \ --train_dataset_sample 5000 \ --self_cognition_sample 1000 \ --logging_steps 5 \ --max_length...

kratorado

API support for multi-modal model inference

1

Current code only supports single or batch inference for multi-modal models (Llava1.6, cogvlm etc) due to lack of vllm support. Any plans to add feature support to enable API support...

babla9