QingChengLineOne

Results 5 comments of QingChengLineOne
trafficstars

> 使用 fewshot 的 template 试一下,我的结果是 Average: 61.67 STEM: 48.18 Social Sciences: 74.15 Humanities: 55.64 Other: 70.67 可以展示一下脚本文件吗

> 使用 fewshot 的 template 试一下,我的结果是 Average: 61.67 STEM: 48.18 Social Sciences: 74.15 Humanities: 55.64 Other: 70.67 也就是说如果我要测llama3base版本,就需要将--template这个参数设置为fewshot吗,instruct版本就是llama3?

> python ./src/evaluate.py --model_name_or_path /media/codingma/LLM/llama3/Meta-Llama-3-8B --template fewshot --task mmlu --split validation --lang en --n_shot 5 --batch_size 4 非常感谢

> @QingChengLineOne what's the error log and your configuration? 这是我的key.yaml配置文件 https://github.com/geekan/MetaGPT/issues/526#issuecomment-1840277708 这是chatclm3的最后输出 ![image](https://github.com/geekan/MetaGPT/assets/111961874/420b7eb2-288f-4ce2-8e4f-b562bcb24b11) 这是报错信息 ![image](https://github.com/geekan/MetaGPT/assets/111961874/10c609a0-a11b-41c2-824e-d667cd76d75b)

> @QingChengLineOne what's the error log and your configuration? 这是我的key.yaml的配置文件 ![image](https://github.com/geekan/MetaGPT/assets/111961874/7b12f2c3-3d48-44e3-8fce-f6fc3373dbbb)