[Feature] 建了个OpenAI API兼容的仓库, 方便各类应用接入ChatGLM

[josStorer]

Is your feature request related to a problem? Please describe.

No response

Solutions

https://github.com/josStorer/selfhostedAI

目前做了离线一键启动和HuggingFace托管版本

顺便想寻求帮助, HuggingFace版本我用了GPU, 也按照官方说明下了指定版本的pytorch cu113

但是还是一直用CPU, cuda检测一直不可用

希望有人能帮忙看看, 这里是Space: https://huggingface.co/spaces/josStorer/ChatGLM-6B-Int4-API-OpenAI-Compatible

Additional context

No response