ChatChat icon indicating copy to clipboard operation
ChatChat copied to clipboard

Published 20 hours ago • verified publisher icon okisdev

本地用llama.cpp 部署的llm服务支持吗

Open shengkaixuan opened this issue 1 year ago • 1 comments

本地用llama.cpp 部署的llm服务，提供了与openai 兼容的API，chatchat 是否支持？？？？

shengkaixuan avatar May 02 '23 01:05 shengkaixuan

本地部署的需要测试一下，理论上是可以的。

okisdev avatar May 02 '23 01:05 okisdev

@okisdev 想请问一下，本地部署LLM，只提供openai的api而不提供openai的api-key是允许的吗？

HelloEveryonehh avatar Jan 31 '24 12:01 HelloEveryonehh

@okisdev 想请问一下，本地部署LLM，只提供openai的api而不提供openai的api-key是允许的吗？

本地部署你可以不填写 apiKey，选择 openai 但是只要是和 openai 一样的 api 接口就可以使用

okisdev avatar Feb 01 '24 06:02 okisdev