关于系统提示词
请问在进行train和infer的时候,系统的提示词--system是都会调用吗,比如internvl的:你是书生。。。。。。,在train和infer的时候都会先把这个提示词喂给大模型吗,我原先在train的时候设置了我自己的system,但是我注意到在infer的时候,这个system似乎没有被调用,我打印那个结果,没有显示system
请问在进行train和infer的时候,系统的提示词--system是都会调用吗,比如internvl的:你是书生。。。。。。,在train和infer的时候都会先把这个提示词喂给大模型吗,我原先在train的时候设置了我自己的system,但是我注意到在infer的时候,这个system似乎没有被调用,我打印那个结果,没有显示system
推理的代码或命令行贴一下
请问在进行train和infer的时候,系统的提示词--system是都会调用吗,比如internvl的:你是书生。。。。。。,在train和infer的时候都会先把这个提示词喂给大模型吗,我原先在train的时候设置了我自己的system,但是我注意到在infer的时候,这个system似乎没有被调用,我打印那个结果,没有显示system
推理的代码或命令行贴一下
CUDA_VISIBLE_DEVICES=4
I
swift infer
--model internvl
--system vvvv.txt
--max_batch_size 4
--torch_dtype bfloat16
--infer_backend pt
--max_length 8192
--attn_impl flash_attn
--split_dataset_ratio 1.0
--metric acc
--dataset vvvvvvv_test.jsonl
--data_seed 2025
--seed 2025
--temperature 0
--result_path result.jsonl \
--system的优先级 高于 template中的默认system