[BUG/Help] <无响应>本地模型，webdemo运行成功，无响应

[liuyuesheng]

Is there an existing issue for this?

• [X] I have searched the existing issues

Current Behavior

https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git 从这里下的模型，我看这里的模型都是pytorch_model-00006-of-00007.bin 即00007结尾，推荐的好像是00008结尾，是这个区别吗

Expected Behavior

1

Steps To Reproduce

直接运行

Environment

- OS:linux
- Python:3.7
- Transformers:
- PyTorch:
- CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) :

Anything else?

1

[liuyuesheng]

搞定了，被yield卡住了，改成return就行，只是不能够一个字一个字打印了

[Big-yellowa]

搞定了，被yield卡住了，改成return就行，只是不能够一个字一个字打印了 ! 请问下为什么我的修改后回答只有两个字这样，还是没有完整的回答

[liuyuesheng]

搞定了，被yield卡住了，改成return就行，只是不能够一个字一个字打印了 ! 请问下为什么我的修改后回答只有两个字这样，还是没有完整的回答

---

注意 return的位置，他是俩个字俩个字一点点补全结果的 不要在for循环内return了，要跳出for循环后return，就是 for和return是并列的

[cloudwindy]

同样遇到这个问题，没办法流式对话了，有解决方法吗？