ChatGLM-6B
ChatGLM-6B copied to clipboard
增加SSE流式输出
发送请求时,stream参数为1请求流式输出。
发送请求格式如下:
curl -X POST "http://127.0.0.1:8000"
-H 'Content-Type: application/json'
-d '{"prompt": "你好", "history": [], "stream":1}'
回复按照SSE流式输出格式
data:{
"response":"你好👋!我是人工智能助手 ChatGLM-6B,很高兴见到你,欢迎问我任何问题。",
"history":[["你好","你好👋!我是人工智能助手 ChatGLM-6B,很高兴见到你,欢迎问我任何问题。"]],
"status":200,
"time":"2023-03-23 21:38:40"
}
用客户端编写http测试,流式输出响应速度很快,效果如下
你好,有请求的示例吗?你这个请求页面可以发一下吗?感谢!!!
你好,有请求的示例吗?你这个请求页面可以发一下吗?感谢!!!
https://github.com/littlestone0806/ChatGLM-Client B站也有讲解视频:https://www.bilibili.com/video/BV11h4y1H7Sx/