模型实测推理结果与汇报的差异很大

[qwjaskzxl]

这是我用alpaca-plus-13b模型推理的结果，与example汇报中差异较大，请问可能是什么原因呢 =======1======= Input: 为什么要减少污染，保护环境？分20点回答 Output: 1. 空气和水的净化是人类健康的基础。 2. 大气中的污染物会危害人体免疫系统、剧本细胞功能等；水中含有重金属和其他有害物质也会对身体造成伤害。 3. 大量排放废气会导致全球气候变暖，引发极端天气事件如洪水、干旱等等。 4. 森林砍伐导致生物多样性丧失，影响生态平衡。 5. 工业废弃物堆积会对土壤质量产生负面影响，降低农作物产量并威胁到食品安全。

=======2======= Input: 如何做披萨？ Output: 制作披萨需要准备面团、酱料和配菜，将面饼铺在烤盘上并涂上调味汁。然后加入你喜欢的蔬菜或肉类等食材，最后放入预热好的烤箱中烘焙即可。

=======3======= Input: 详细说明DNA和RNA的区别 Output: DNA是脱氧核糖核酸，而RNA则是核苷酸。它们的区别在于：1. DNA含有两条互补的链；2. RNA只有一条单股链。3. 基因组中存在大量的DNA分子，但只包含少量的蛋白质编码信息。

=======4======= Input: 为什么冥王星被踢出太阳系？ Output: 因为在2006年，国际天文学联合会将它从“行星”的分类中剔除。

[ymcui]

你仔细看过example目录下的readme了么😂？ 至于差距大或不大这个我也很难去给出判断，毕竟不是客观可以度量的东西。 我们只能确定用我们给定的方法可以给出可比的效果。

[qwjaskzxl]

你仔细看过example目录下的readme了么😂？ 至于差距大或不大这个我也很难去给出判断，毕竟不是客观可以度量的东西。 我们只能确定用我们给定的方法可以给出可比的效果。

嗯嗯，因为我尝试几次都无法得到demo水平的回答，所以想确认是用inference_hf.py里的参数跑出来的结果吗？（我也怀疑是不是自己的权重有问题

[airaria]

你仔细看过example目录下的readme了么😂？ 至于差距大或不大这个我也很难去给出判断，毕竟不是客观可以度量的东西。 我们只能确定用我们给定的方法可以给出可比的效果。

嗯嗯，因为我尝试几次都无法得到demo水平的回答，所以想确认是用inference_hf.py里的参数跑出来的结果吗？（我也怀疑是不是自己的权重有问题

是用llama.cpp的结果，参数在wiki里列了：

 -c 2048 --temp 0.2 -n 256 --repeat_penalty 1.1

[qwjaskzxl]

你仔细看过example目录下的readme了么😂？ 至于差距大或不大这个我也很难去给出判断，毕竟不是客观可以度量的东西。 我们只能确定用我们给定的方法可以给出可比的效果。

嗯嗯，因为我尝试几次都无法得到demo水平的回答，所以想确认是用inference_hf.py里的参数跑出来的结果吗？（我也怀疑是不是自己的权重有问题

是用llama.cpp的结果，参数在wiki里列了：

 -c 2048 --temp 0.2 -n 256 --repeat_penalty 1.1

get~感谢，不过inference_hf.py中num_beams=1，这里改为>1的话会出现【RuntimeError: probability tensor contains either inf, nan or element < 0】，请问您是否尝试过beam search呢

[github-actions[bot]]

This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. Thank you for your consideration.

[github-actions[bot]]

Closing the issue, since no updates observed. Feel free to re-open if you need any further assistance.