为什么用py脚本do_predict和web_demo中回答的结果不一样

[Data2Me]

模型是baichuan-7B 同样的问题，py脚本中do_predict的回复质量明显高于web_demo

[Data2Me]

并且web_demo中经常出现 "Human: "

[hljjjmssyh]

看看 predict template 和 web demo template 是否一致

[Data2Me]

@Data2Me 问下do_predict怎么用？

python3 /mnt/cpfs/guanyutao/LLaMA-Efficient-Tuning/src/train_sft.py --model_name_or_path /model_checkpoint/baichuan-7B --do_predict --dataset dev --checkpoint_dir /baichuan-7B-lora/4200/checkpoint-4200 --output_dir /baichuan --per_device_eval_batch_size 8 --max_samples 1000 --predict_with_generate --dataset_dir /LLaMA-Efficient-Tuning/data

[tszslovewanpu]

我在webdemo后面加了 --prompt_template alpaca就正常了，是prompt_template的问题

请问这个参数是训练好模型，做推理的时候加的吗。如果是做inference时需要加这个参数，是不是这个模板要和训练时的一致才不会出现human？