liuchengyuan123

主表中zero-shot的复现效果相差很多

3

您好！感谢您对此项目的贡献和一直以来非常及时的回复！ 我尝试用Meta-Llama3-8B-Instruct模型复现表格中不加retrieve的结果，这样不受到retrieve相关参数的区别的影响。 但是我的结果与表格中相差很多，具体来说： |nq|triviaqa|hotpotqa| |-|-|-| |19.00|47.60|23.06| 我用vllm框架在4*A100 GPUs上进行实验。使用了前1000条的数据进行测试，用vllm框架进行的generation。其他参数都和my_config设置的相同。一个hotpotqa的prompt如下： ```text system Answer the question based on your own knowledge. Only give me the answer and do not output any other words.user...