llama 7b lora微调效果比展示的差很多。https://github.com/Facico/Chinese-Vicuna/blob/master/docs/performance.md

[jzsbioinfo]

问题： 你能帮我写一封辞职信给我现在的雇主，同时对我提供的机会表示感谢吗？

LLAMA 7B LORA微调的回答: 非常好！作为当前工作中最重要的人员之一，我深积攀入了所有公司内部和外界关系。这次是个特定情况下，因此我必须向大家分手，并将自身与未来发展相连起来。然而，我也想表达到我对于那些经过我的期望、支持以及教导等方面的意义不可或缺的心动。无论如何，我都希望每位老友们都得到更多成功，从今天开始就去实行他们的计划。再说，我还真正十分感激地回应任何问题，请告知我需要解答的话题。 虽然我已经结算完全程序，但我保存里面的美好记录，永远不会被消失。我只是希望我的新生活路上也能取代原来的幸福，并加速进度。

敬礼， [你的名字]

注：请根据自己的情况修改该文本。

10-25978346_BTN.jpg (JPEG Image, 100x100 pixels)

===================================================

回答的语法很差，语句不通顺，还有一些莫名其妙的信息（比如：10-25978346_BTN.jpg (JPEG Image, 100x100 pixels)）

请问 https://github.com/Facico/Chinese-Vicuna/blob/master/docs/performance.md 展示的效果，是完全按照finetune.sh代码微调的么？还是有什么其他需要修改的？

[LZY-the-boys]

我们的是按finetune.sh微调的，你使用的是什么GPU？训练了几轮，loss的情况如何？

[dizhenx]

不微调，直接用官方的checkpoint-final也是差很多，经常胡说八道

[jzsbioinfo]

看起来还是13B效果稍微好一点，然后调大beam_num 也有帮助。

[Facico]

@dizhenx @jzsbioinfo 直接用我们的模型效果差很多可能有以下原因： 1、tokenizer和sentencepiece版本的问题，这个问题可以参考我们的提供的配置 2、显卡和8bit不兼容的问题。比如V100就不太兼容（可以到仓库找相关的V100的问题）（这个问题可以用纯cpu推理的方式来排查） 解决方法是推理的时候把8bit相关的去掉改成fp16，相关issue有说明