Facico

你这个程序我跑也有问题，你试过我们给出的推理脚本吗，应该是没有问题的

你可以试试[这里面](https://github.com/Facico/Chinese-Vicuna/blob/master/docs/problems.md)问题3的生成代码，然后把对应参数和prompt按照我们generate.py里面加上去就可以了

你用的lora文件是什么，可以用我们"Facico/Chinese-Vicuna-lora-7b-3epoch-belle-and-guanaco"这个试试。 同时可以看到，输入开头的第一个token是0，[我们的结果是1](https://github.com/Facico/Chinese-Vicuna/issues/2#issuecomment-1482212014)，怀疑tokenizer的配置也有不同，可以参考这个[issue](https://github.com/Facico/Chinese-Vicuna/issues/59)，修改一下相关的tokenizer配置

@sevenold 把beams调到>1（这些参数你可以自己多试试）

你这个情况好像是一直没有输出eos，可以参考一下这个[issue](https://github.com/Facico/Chinese-Vicuna/issues/59)

@dizhenx 直接用我们的模型效果差很多可能有以下原因： 1、tokenizer和sentencepiece版本的问题，这个问题可以参考我们的提供的[配置](https://github.com/Facico/Chinese-Vicuna/blob/master/docs/problems.md) 2、显卡和8bit不兼容的问题。比如V100就不太兼容（可以到仓库找相关的V100的问题）（这个问题可以用纯cpu推理的方式来排查） 解决方法是推理的时候把8bit相关的去掉改成fp16，相关[issue](https://github.com/Facico/Chinese-Vicuna/issues/39)有说明 3、要把beam num设置成>1

你可以让用户自己选择接口，或者训练一个判别器。或者保留一个通用模型lora和一个垂直领域模型lora，然后类似autogpt那样让模型来选用哪个

Yes, our main focus is on Chinese. You can refer to this [issue](https://github.com/Facico/Chinese-Vicuna/issues/12) There are hundreds of Chinese characters in llama's vocab.txt, you can make these Chinese characters correspond to...

我测试的时候并没有卡住，我觉得和什么类型的任务应该没有关系。你可以看看终端里面每次会输出一个数字，这个是按max_memory历史截断后的长度数字。 同时你可以看看内存、CPU、GPU占用情况，或者减小一下max_new_token和Repetition Penalty看看有没有改进

你可以参考一下网上的解决方案：[1](https://blog.csdn.net/hhhhhhhhhhwwwwwwwwww/article/details/127516185), [2](https://zhuanlan.zhihu.com/p/335289895?ivk_sa=1024320u&utm_id=0), [3](https://stackoverflow.com/questions/74594256/pytorch-error-loading-lib-site-packages-torch-lib-shm-dll-or-one-of-its-depen), [4](https://github.com/facebookresearch/demucs/issues/423)