什么时候可以搞个支持本地大模型的
一篇报告消耗的token数有时候太惊人,还是有点肉疼,什么时候可以搞个支持本地大模型的版本呀,还是说现在就支持了?很期待
base_url 改成本地的接口不行吗,我准备试试
我试ollama是失败的
base_url 改成本地的接口不行吗,我准备试试
我试了启动失败
我用 LMStudio 启动的接口是成功的 ip:1234/v1 这样
?一直都可以吧,群里有好几个都是用的本地大模型
支持openai调用格式就行
类似这样配置(我是这样,可以运行)
Insight Agent(推荐kimi-k2,官方申请地址:https://platform.moonshot.cn/)
INSIGHT_ENGINE_API_KEY=ollama INSIGHT_ENGINE_BASE_URL=http://host.docker.internal:11434/ INSIGHT_ENGINE_MODEL_NAME=glm-4.6:cloud
Media Agent(推荐Gemini-2.5-pro,中转厂商申请地址:https://aihubmix.com/?aff=8Ds9)
MEDIA_ENGINE_API_KEY=ollama MEDIA_ENGINE_BASE_URL=http://host.docker.internal:11434/ MEDIA_ENGINE_MODEL_NAME=gemma3:27b
Query Agent(推荐deepseek-chat,官方申请地址:https://platform.deepseek.com/)
QUERY_ENGINE_API_KEY=ollama QUERY_ENGINE_BASE_URL=http://host.docker.internal:11434/ QUERY_ENGINE_MODEL_NAME=deepseek-v3.1:671b-cloud
Report Agent(推荐Gemini-2.5-pro,中转厂商申请地址:https://aihubmix.com/?aff=8Ds9)
REPORT_ENGINE_API_KEY=ollama REPORT_ENGINE_BASE_URL=http://host.docker.internal:11434/ REPORT_ENGINE_MODEL_NAME=gemma3:27b
MindSpider Agent(推荐deepseek-chat,官方申请地址:https://platform.deepseek.com/)
MINDSPIDER_API_KEY=ollama MINDSPIDER_BASE_URL=http://host.docker.internal:11434/ MINDSPIDER_MODEL_NAME=deepseek-v3.1:671b-cloud
论坛主持人(推荐qwen-plus,官方申请地址:https://www.aliyun.com/product/bailian)
FORUM_HOST_API_KEY=ollama FORUM_HOST_BASE_URL=http://host.docker.internal:11434/ FORUM_HOST_MODEL_NAME=qwen3-vl:234b-cloud
SQL Keyword Optimizer(推荐qwen-plus,官方申请地址:https://www.aliyun.com/product/bailian)
KEYWORD_OPTIMIZER_API_KEY=ollama KEYWORD_OPTIMIZER_BASE_URL=http://host.docker.internal:11434/ KEYWORD_OPTIMIZER_MODEL_NAME=qwen3-vl:234b-cloud
@dusu 总结一下如何配置为本地llm
支持openai调用格式就行
这样配置显示:openai.APIStatusError: Your request was blocked. postman调用是正常的,只是这里去掉了后缀