如何运行推理？

[hopeforus]

基础模型下载了，lora也下载了，怎么运行推理呢？

[jerry1993-tech]

参考这里：

单模型推理

bash ./scripts/infer.sh

BASE_MODEL="./base_models/llama-7b-hf"  # or「./base_models/Linly-Chinese-LLaMA-7b-hf」
exp_tag="ori-fb"                        # or「"Linly-zh"」
python3 infer.py \
    --base_model ${BASE_MODEL} \
    --lora_weights './lora-llama-fin-'$exp_tag \
    --use_lora True \
    --instruct_dir './instruction_data/infer.json' \
    --prompt_template 'fin_template'

多模型对比

bash ./scripts/comparison_test.sh