[Feature] 加入自定义模型功能

[wojiaoyishang]

你想要什么功能或者有什么建议？ 加入自定义模型功能。

有没有可以参考的同类竞品？ 是否可以参考 https://github.com/josStorer/chatGPTBox 加入自定义的模型，比如模型chatGLM-6B, chatRWKV, chatYuan。

其他信息 不开源的国内第三方chatgpt吃相太难看，开源的要么平台独占，要么功能不全，希望开发者可以加入自定义模型功能，增加项目的可二次开发性。同时，我也非常支持插件功能的开发，插件功能在极大程度上可以少修改项目源码而增加新功能，便于项目的二次拓展。

[AprilNEA]

https://github.com/AprilNEA/ChatGPT-Admin-Web 在 packages/bots 中实现了 模型/API 侧载，正在开发插件系统。 项目目前文档不够完善，一些功能还在开发，但可以先关注一下

[Yidadaa]

即将与 https://github.com/go-skynet/LocalAI 集成。

[mmw1984]

現在可以了嗎

[xusenlinzy]

可以通过实现openai接口的响应体，只需要简单修改OPENAI_API_BASE，就可以在该项目中使用chatglm、moss等开源模型，参考api-for-open-llm

[Cuiyim]

可以在设置增加bingai选项吗 注意到由其他用这套源码的有这个功能

[Yidadaa]

https://github.com/josStorer/RWKV-Runner 已经提供了 chatgpt 兼容接口，修改 BASE_URL 即可使用自部署的 rwkv 模型。

[Yidadaa]

目前在前端开放了接口地址自定义，实测可以与下列项目无缝集成：

• https://github.com/josStorer/RWKV-Runner
• https://github.com/go-skynet/LocalAI
• https://github.com/xusenlinzy/api-for-open-llm

可以直接在本项目演示网页或者在 Release 页面下载客户端，然后自行部署或者安装上述项目中的任何一个，然后按照对应项目的说明修改设置页的接口地址，即可开始使用自部署模型，相关文档随着客户端功能完善，会陆续补充到文档中。

[doudoupower]

ChatGLM2接入后无法流式回复，所有结果出来之后全部回复的，请问是哪里需要配置吗

[Issues-translate-bot]

Bot detected the issue body's language is not English, translate it automatically.

---

After ChatGLM2 is connected, it cannot reply in a streaming manner. After all the results come out, all replies will be replied. Where does it need to be configured?

[Yidadaa]

@doudoupower

检查你的脚本，确认用的是这个？

https://github.com/THUDM/ChatGLM2-6B/blob/main/openai_api.py

[Issues-translate-bot]

Bot detected the issue body's language is not English, translate it automatically.

---

@doudoupower

Check your script to make sure you are using this?

https://github.com/THUDM/ChatGLM2-6B/blob/main/openai_api.py