主表中zero-shot的复现效果相差很多

[liuchengyuan123]

您好！感谢您对此项目的贡献和一直以来非常及时的回复！

我尝试用Meta-Llama3-8B-Instruct模型复现表格中不加retrieve的结果，这样不受到retrieve相关参数的区别的影响。 但是我的结果与表格中相差很多，具体来说：

nq	triviaqa	hotpotqa
19.00	47.60	23.06

我用vllm框架在4*A100 GPUs上进行实验。使用了前1000条的数据进行测试，用vllm框架进行的generation。其他参数都和my_config设置的相同。一个hotpotqa的prompt如下：

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

Answer the question based on your own knowledge. Only give me the answer and do not output any other words.<|eot_id|><|start_header_id|>user<|end_header_id|>

Question: Were Scott Derrickson and Ed Wood of the same nationality?<|eot_id|><|start_header_id|>assistant<|end_header_id|>

请问是否有经验关于为何效果会和表中相差很多？

十分感谢！！