ms-swift icon indicating copy to clipboard operation
ms-swift copied to clipboard

关于系统提示词

Open Celina-love-sweet opened this issue 8 months ago • 2 comments

请问在进行train和infer的时候,系统的提示词--system是都会调用吗,比如internvl的:你是书生。。。。。。,在train和infer的时候都会先把这个提示词喂给大模型吗,我原先在train的时候设置了我自己的system,但是我注意到在infer的时候,这个system似乎没有被调用,我打印那个结果,没有显示system

Celina-love-sweet avatar Apr 27 '25 14:04 Celina-love-sweet

请问在进行train和infer的时候,系统的提示词--system是都会调用吗,比如internvl的:你是书生。。。。。。,在train和infer的时候都会先把这个提示词喂给大模型吗,我原先在train的时候设置了我自己的system,但是我注意到在infer的时候,这个system似乎没有被调用,我打印那个结果,没有显示system

推理的代码或命令行贴一下

slin000111 avatar Apr 28 '25 10:04 slin000111

请问在进行train和infer的时候,系统的提示词--system是都会调用吗,比如internvl的:你是书生。。。。。。,在train和infer的时候都会先把这个提示词喂给大模型吗,我原先在train的时候设置了我自己的system,但是我注意到在infer的时候,这个system似乎没有被调用,我打印那个结果,没有显示system

推理的代码或命令行贴一下

CUDA_VISIBLE_DEVICES=4
I swift infer
--model internvl
--system vvvv.txt
--max_batch_size 4
--torch_dtype bfloat16
--infer_backend pt
--max_length 8192
--attn_impl flash_attn
--split_dataset_ratio 1.0
--metric acc
--dataset vvvvvvv_test.jsonl
--data_seed 2025
--seed 2025
--temperature 0
--result_path result.jsonl \

Celina-love-sweet avatar Apr 28 '25 10:04 Celina-love-sweet

--system的优先级 高于 template中的默认system

Jintao-Huang avatar Jun 04 '25 08:06 Jintao-Huang