BettaFish icon indicating copy to clipboard operation
BettaFish copied to clipboard

什么时候可以搞个支持本地大模型的

Open lxs-w opened this issue 2 months ago • 6 comments

一篇报告消耗的token数有时候太惊人,还是有点肉疼,什么时候可以搞个支持本地大模型的版本呀,还是说现在就支持了?很期待

lxs-w avatar Nov 11 '25 01:11 lxs-w

base_url 改成本地的接口不行吗,我准备试试

LeanFly avatar Nov 11 '25 02:11 LeanFly

我试ollama是失败的

base_url 改成本地的接口不行吗,我准备试试

我试了启动失败

lxs-w avatar Nov 11 '25 02:11 lxs-w

我用 LMStudio 启动的接口是成功的 ip:1234/v1 这样

LeanFly avatar Nov 12 '25 09:11 LeanFly

?一直都可以吧,群里有好几个都是用的本地大模型

666ghj avatar Nov 14 '25 12:11 666ghj

支持openai调用格式就行

666ghj avatar Nov 14 '25 12:11 666ghj

类似这样配置(我是这样,可以运行)

Insight Agent(推荐kimi-k2,官方申请地址:https://platform.moonshot.cn/)

INSIGHT_ENGINE_API_KEY=ollama INSIGHT_ENGINE_BASE_URL=http://host.docker.internal:11434/ INSIGHT_ENGINE_MODEL_NAME=glm-4.6:cloud

Media Agent(推荐Gemini-2.5-pro,中转厂商申请地址:https://aihubmix.com/?aff=8Ds9)

MEDIA_ENGINE_API_KEY=ollama MEDIA_ENGINE_BASE_URL=http://host.docker.internal:11434/ MEDIA_ENGINE_MODEL_NAME=gemma3:27b

Query Agent(推荐deepseek-chat,官方申请地址:https://platform.deepseek.com/)

QUERY_ENGINE_API_KEY=ollama QUERY_ENGINE_BASE_URL=http://host.docker.internal:11434/ QUERY_ENGINE_MODEL_NAME=deepseek-v3.1:671b-cloud

Report Agent(推荐Gemini-2.5-pro,中转厂商申请地址:https://aihubmix.com/?aff=8Ds9)

REPORT_ENGINE_API_KEY=ollama REPORT_ENGINE_BASE_URL=http://host.docker.internal:11434/ REPORT_ENGINE_MODEL_NAME=gemma3:27b

MindSpider Agent(推荐deepseek-chat,官方申请地址:https://platform.deepseek.com/)

MINDSPIDER_API_KEY=ollama MINDSPIDER_BASE_URL=http://host.docker.internal:11434/ MINDSPIDER_MODEL_NAME=deepseek-v3.1:671b-cloud

论坛主持人(推荐qwen-plus,官方申请地址:https://www.aliyun.com/product/bailian)

FORUM_HOST_API_KEY=ollama FORUM_HOST_BASE_URL=http://host.docker.internal:11434/ FORUM_HOST_MODEL_NAME=qwen3-vl:234b-cloud

SQL Keyword Optimizer(推荐qwen-plus,官方申请地址:https://www.aliyun.com/product/bailian)

KEYWORD_OPTIMIZER_API_KEY=ollama KEYWORD_OPTIMIZER_BASE_URL=http://host.docker.internal:11434/ KEYWORD_OPTIMIZER_MODEL_NAME=qwen3-vl:234b-cloud

Jefsky avatar Nov 17 '25 07:11 Jefsky

@dusu 总结一下如何配置为本地llm

DoiiarX avatar Nov 17 '25 10:11 DoiiarX

支持openai调用格式就行

Image这样配置显示:openai.APIStatusError: Your request was blocked. postman调用是正常的,只是这里去掉了后缀

Image

lxs-w avatar Nov 19 '25 06:11 lxs-w