JACKzhuz

我已经微调完成了，然后推理也成功了，我想放入web_demo中进行使用，但是这个应该怎么做啊？在哪里更改路径呢？

好的 感谢大佬

> 您好，DCU(Deep Computing Unit 深度计算器)是 海光推出的一款专门用于 AI 人工智能和深度学习的加速卡。 你好 请问你有尝试吗，可以吗？

碰到了同样的问题，按照官方提供的运行了 pip install -r requirements.txt的代码，在运行web_demo和cil_demo时包括推理代码时都碰到了AttributeError: 'BaichuanTokenizer' object has no attribute 'sp_model'的报错，然后根据上面的朋友说的将transformers变为4.33.3时推理代码可以运行，但是web_demo和cil_demo在运行时可以加载，但是你跟他说一句话之后也会弹出RuntimeError: "addmm_impl_cpu_" not implemented for 'Half'的问题，应该是有一些包的版本会冲突导致的问题，希望官方能尽快给出解决答案。

> > 碰到了同样的问题，按照官方提供的运行了 pip install -r requirements.txt的代码，在运行web_demo和cil_demo时包括推理代码时都碰到了AttributeError: 'BaichuanTokenizer' object has no attribute 'sp_model'的报错，然后根据上面的朋友说的将transformers变为4.33.3时推理代码可以运行，但是web_demo和cil_demo在运行时可以加载，但是你跟他说一句话之后也会弹出RuntimeError: "addmm_impl_cpu_" not implemented for 'Half'的问题，应该是有一些包的版本会冲突导致的问题，希望官方能尽快给出解决答案。 > > transformers变为4.33.3，同时把torch和triton版本改为2.0的, 我这边可以解决上面的报错  根据你的建议，我按照你的步骤去尝试了一下，torch=2.0.1，trtton=2.0.0，transformers=4.33.3，可以运行cli_demo.py，但是在你打一个招呼之后，还是会出现报错RuntimeError: "addmm_impl_cpu_" not implemented for 'Half'

> 我换成 transformers==4.33.3 没问题了，但报下面的错误了 > > ``` > > 欢迎使用百川大模型，输入进行对话，vim 多行输入，clear 清空历史，CTRL+C 中断生成，stream 开关流式生成，exit 结束。 > > 用户：你好啊 > > Baichuan 2：Exception in thread Thread-3 (generate): > Traceback (most recent...