如何支持本地开源GPT如OpenGLM-6B

[forest520]

[takatost]

在计划中，目前只支持 OpenAI

[Vickzhang]

需求+1

[goodyorkye]

需求+1

[wking1986]

大佬，支持ChatGLM有时间点吗？

[yananliuyanjiang]

需求 +1

[yananliuyanjiang]

求大佬适配

[liuwei0514]

需求 +1

[xusenlinzy]

可以通过实现openai接口的响应体，只需要修改OPENAI_API_BASE，参考api-for-open-llm

[qianxuemin]

需求+1

[coolnetboy]

为什么要用GLM

[cnhh-cyc]

需求+1 对于知识库的应用场景不需要很高级的LLM来处理 而隐私保密性强的知识库，必然期望全局本地化部署

[youyajike]

chatGLM-6B + 1 全套完全本地化部署支持，有些企业是内网使用，不便于访问发布接口

[gaocegege]

通过 https://github.com/tensorchord/modelz-llm 在本地运行了一个 Bloomz（也支持 ChatGLM，FastChat T5 等），然后跟 dify 集成在一起，让 dify 使用本地的模型而不是 OpenAI，跑通了 text completion 的 demo，基本没有修改 dify 的代码：

https://github.com/langgenius/dify/assets/5100735/13e1a123-7914-4c7d-9e8d-f9022d065a08

[gaocegege]

OpenAI:

Bloomz 560M 部署在 CPU 上：

[coolnetboy]

请问这个GLM-6B的支持哪里可以看到啊

------------------ 原始邮件 ------------------ 发件人: "langgenius/dify" @.>; 发送时间: 2023年6月15日(星期四) 下午5:18 @.>; 抄送: "Patrick @.@.>; 主题: Re: [langgenius/dify] 如何支持本地开源GPT如OpenGLM-6B (Issue #29)

chatGLM-6B + 1 全套完全本地化部署支持，有些企业是内网使用，不便于访问发布接口

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

[github-actions[bot]]

Close due to it's no longer active, if you have any questions, you can reopen it.