MOSS icon indicating copy to clipboard operation
MOSS copied to clipboard
verified publisher icon OpenMOSS

能不能支持stream_chat，现在在A100上做推理都很慢很慢

Open liaoweiguo opened this issue 2 years ago • 2 comments

类似chatGLM，加上流式输出用户体验会好一点

liaoweiguo avatar Apr 25 '23 06:04 liaoweiguo

已经准备照着chatGLM的方式手写一个stream_chat接口了，希望有大佬能看破我的逞强..

LeonG7 avatar Apr 25 '23 08:04 LeonG7

已经有人改了，参考这里https://github.com/OpenLMLab/MOSS/issues/112#issue-1680561586

LeonG7 avatar Apr 26 '23 10:04 LeonG7