openai-proxy icon indicating copy to clipboard operation
openai-proxy copied to clipboard

Published 20 hours ago • verified publisher icon geekr-dev

已经部署好了，欢迎大家啊使用 🤭：https://openai.proxy.mailjob.net

Open jefferyjob opened this issue 1 year ago • 4 comments

jefferyjob avatar Mar 15 '23 06:03 jefferyjob

我这两天打算让它支持流式响应

geekr-dev avatar Mar 15 '23 07:03 geekr-dev

SSE支持，请参考 https://github.com/rakyll/openai-go 中的openai.go代码，需要使用bufio.NewScanner()读取http的Response数据，分片返回就可以了。

另外互联网上查了一下Server Sent Events说只支持GET方式的http请求，当实际openai的API是通过POST方式发起的，只是openai的服务器检查到stream=true时，会采用这种分片的方式发送数据，分别event有data两行，其中data中就是需要返回的json数据，你做代理就直接分片中转发送给客户。

blueicesir avatar Mar 16 '23 02:03 blueicesir

我这两天打算让它支持流式响应

期待支持，哈哈

jefferyjob avatar Mar 19 '23 04:03 jefferyjob

ea238c1a7c3a77c17a1756719a5c8b9

jefferyjob avatar Mar 21 '23 04:03 jefferyjob