ChatGLM-6B icon indicating copy to clipboard operation
ChatGLM-6B copied to clipboard

增加SSE流式输出

Open littlestone0806 opened this issue 1 year ago • 2 comments

发送请求时,stream参数为1请求流式输出。 发送请求格式如下: curl -X POST "http://127.0.0.1:8000"
-H 'Content-Type: application/json'
-d '{"prompt": "你好", "history": [], "stream":1}'

回复按照SSE流式输出格式 data:{ "response":"你好👋!我是人工智能助手 ChatGLM-6B,很高兴见到你,欢迎问我任何问题。", "history":[["你好","你好👋!我是人工智能助手 ChatGLM-6B,很高兴见到你,欢迎问我任何问题。"]], "status":200, "time":"2023-03-23 21:38:40" } 用客户端编写http测试,流式输出响应速度很快,效果如下 录制_2023_04_18_16_24_50_283

littlestone0806 avatar Apr 18 '23 08:04 littlestone0806

你好,有请求的示例吗?你这个请求页面可以发一下吗?感谢!!!

sportzhang avatar Apr 26 '23 08:04 sportzhang

你好,有请求的示例吗?你这个请求页面可以发一下吗?感谢!!!

https://github.com/littlestone0806/ChatGLM-Client B站也有讲解视频:https://www.bilibili.com/video/BV11h4y1H7Sx/

littlestone0806 avatar Apr 26 '23 08:04 littlestone0806