ChatGLM-6B icon indicating copy to clipboard operation
ChatGLM-6B copied to clipboard

Published 20 hours ago • verified publisher icon THUDM

[Feature] 是否能够提供rest api

Open xwdreamer opened this issue 1 year ago • 3 comments

Is your feature request related to a problem? Please describe.

No response

Solutions

模型部署成功，web demo跑通，效果不过，感谢开源，体验了一把大模型的本地部署。 想请教一下，这个模型部署以后，是否可以提供rest api，我想用postman调用来获取答案。现在是否支持这样操作。

Additional context

No response

xwdreamer avatar Mar 21 '23 02:03 xwdreamer

你自己写个接口不就完了。。。

mengzhangjian avatar Mar 21 '23 03:03 mengzhangjian

白嫖怪出现

heyudage avatar Mar 21 '23 11:03 heyudage

你自己写个接口不就完了。。。

好的，谢谢，我查一下怎么写

xwdreamer avatar Mar 22 '23 00:03 xwdreamer

https://github.com/NCZkevin/chatglm-web

NCZkevin avatar Mar 23 '23 08:03 NCZkevin

https://github.com/NCZkevin/chatglm-web

我用chatgpt-web魔改了一个chatglm的，现在还比较简陋，后续会一直更新，

NCZkevin avatar Mar 23 '23 08:03 NCZkevin

我做了个简单的兼容openai api的版本, 支持sse, 可以huggingface一键自托管: https://github.com/josStorer/selfhostedAI

但是目前cuda一直不可用, 希望有人能帮忙看看, hf仓库: https://huggingface.co/spaces/josStorer/ChatGLM-6B-Int4-API-OpenAI-Compatible

josStorer avatar Mar 23 '23 10:03 josStorer

仓库里的api.py提供了一个简单的API实现，可以根据自己的需要修改。

duzx16 avatar Mar 23 '23 14:03 duzx16

仓库里的api.py提供了一个简单的API实现，可以根据自己的需要修改。

太感谢你了，这两天一直在查怎么用flask改写cli_demo，但是改写完毕以后总是多次启用模型导致显存暴了。早上在地铁上还在用github app查看cli的代码，突然发现多了一个api demo，感动哭了。 有了api，用起来就方便多了，更加有想象空间了。也给那些只会用模型的人有更多的发挥空间。 感谢感谢。

xwdreamer avatar Mar 24 '23 01:03 xwdreamer