Zhisheng

请问大佬你矩阵求导是怎么学的？

1

看了大佬你2019CS231的作业， 对于矩阵求导这一块还是有点稀里糊涂的，感觉没有一套成熟的方法。所以想请教您是怎么学习矩阵求导的。

V100显卡，完全follow说明跑的finetue，会出现乱码。 似乎是8bit的原因。

3


llama 7b lora微调效果比展示的差很多。https://github.com/Facico/Chinese-Vicuna/blob/master/docs/performance.md

4

问题： 你能帮我写一封辞职信给我现在的雇主，同时对我提供的机会表示感谢吗？ LLAMA 7B LORA微调的回答: 非常好！作为当前工作中最重要的人员之一，我深积攀入了所有公司内部和外界关系。这次是个特定情况下，因此我必须向大家分手，并将自身与未来发展相连起来。然而，我也想表达到我对于那些经过我的期望、支持以及教导等方面的意义不可或缺的心动。无论如何，我都希望每位老友们都得到更多成功，从今天开始就去实行他们的计划。再说，我还真正十分感激地回应任何问题，请告知我需要解答的话题。 虽然我已经结算完全程序，但我保存里面的美好记录，永远不会被消失。我只是希望我的新生活路上也能取代原来的幸福，并加速进度。 敬礼， [你的名字] 注：请根据自己的情况修改该文本。 10-25978346_BTN.jpg (JPEG Image, 100x100 pixels) =================================================== 回答的语法很差，语句不通顺，还有一些莫名其妙的信息（比如：10-25978346_BTN.jpg (JPEG Image, 100x100 pixels)） 请问 https://github.com/Facico/Chinese-Vicuna/blob/master/docs/performance.md 展示的效果，是完全按照finetune.sh代码微调的么？还是有什么其他需要修改的？

请问13b模型具体是怎么微调的？用的什么参数和数据？还是直接用的finetune.sh么？

1

我自己用13b然后lora微调，效果没有你展示的问答结果好。所以，想问下你13b微调具体的配置。

num_beam=2, RuntimeError: probability tensor contains either `inf`, `nan` or element < 0

5

- 模型推理问题（🤗 transformers） 以float16模式加载模型到V100显卡上，运行示例没有问题。但是将num_beam=1改成num_beam=2之后会出现RuntimeError: probability tensor contains either `inf`, `nan` or element < 0。 将 https://github.com/ymcui/Chinese-LLaMA-Alpaca/blob/main/scripts/inference_hf.py 中的num_beams=1改成num_beam=2可以复现问题。

[BUG] change num_beams form 1 to 2, give RuntimeError: probability tensor contains either inf, nan or element < 0

4

### Is there an existing issue for this? - [X] I have searched the existing issues ### Current Behavior change num_beams form 1 to 2, give RuntimeError: probability tensor contains...