关于llama3base版本的评测

[QingChengLineOne]

Reminder

• [X] I have read the README and searched the existing issues.

Reproduction

CUDA_VISIBLE_DEVICES=0,1 python ../../src/evaluate.py
--model_name_or_path /public/model/Meta-Llama-3-8B
--template llama3
--finetuning_type lora
--task /public/zzy/LLaMA-Factory/evaluation/mmlu
--split validation
--lang en
--n_shot 5
--batch_size 4 评测结果： Average: 23.74 STEM: 24.75 Social Sciences: 22.15 Humanities: 22.97 Other: 25.51

Expected behavior

为什么只有23.74

System Info

No response

Others

No response

[codemayq]

使用 fewshot 的 template 试一下，我的结果是 Average: 61.67
STEM: 48.18 Social Sciences: 74.15 Humanities: 55.64 Other: 70.67

[QingChengLineOne]

使用 fewshot 的 template 试一下，我的结果是 Average: 61.67 STEM: 48.18 Social Sciences: 74.15 Humanities: 55.64 Other: 70.67

可以展示一下脚本文件吗

[QingChengLineOne]

使用 fewshot 的 template 试一下，我的结果是 Average: 61.67 STEM: 48.18 Social Sciences: 74.15 Humanities: 55.64 Other: 70.67 也就是说如果我要测llama3base版本，就需要将--template这个参数设置为fewshot吗，instruct版本就是llama3？

[codemayq]

python ./src/evaluate.py
--model_name_or_path /media/codingma/LLM/llama3/Meta-Llama-3-8B
--template fewshot
--task mmlu
--split validation
--lang en
--n_shot 5
--batch_size 4

[QingChengLineOne]

python ./src/evaluate.py --model_name_or_path /media/codingma/LLM/llama3/Meta-Llama-3-8B --template fewshot --task mmlu --split validation --lang en --n_shot 5 --batch_size 4

非常感谢