yyqi17

I also encountered this problem. This can be solved by downloading torch-scatter.whl and torch-sparse.whl from https://pytorch-geometric.com/whl/torch-1.6.0+cu102.html, and install them manually.

请问这个问题解决了吗，我也遇到了相同的问题

基于Chinese-LLaMA指令微调后，如果保存了embed_tokens，合并时会比Chinese-LLaMA多一个pad token。把LoRA模型文件下面的special_tokens_map.json改一下就好了（可以直接copy Chinese-Alpaca下面的）

请问这个问题你解决了吗，我也遇到了相同的问题

> > 请问这个问题你解决了吗，我也遇到了相同的问题 > > 解决了，llama-inference添加带lora的模型，并加载对应权重即可正常推理 请问lora精调之后有出现生成乱码的情况吗？我是在TencentPretrain框架下lora训练，修改了llama-inference/model/llama.py模型来支持加载lora参数，但加载后生成结果是各种语言组成的乱码。方便看一下具体是怎样添加和加载的吗，超级感谢~