0.3.1.1版本+ollama 知识库初始化无响应

[Copilotes]

使用docker版本的chatchat0.3.1.1，大模型引擎选的ollama（Xinference要求的cuda版本太高，我的机器的显卡驱动版本够不到，遂放弃），ollama安装了qwen2和bge-large-zh-v1.5两个模型，相关的配置文件也做了修改，data.tar.gz也解压到对应目录下了，镜像跑起来后运行chatchat init正常，但是运行chatchat kb -r时显示： root@95241bb0948b:~/chatchat_data# chatchat kb -r recreating all vector stores /usr/local/lib/python3.11/site-packages/langchain/_api/module_import.py:87: LangChainDeprecationWarning: Importing GuardrailsOutputParser from langchain.output_parsers is deprecated. Please replace the import with the following: from langchain_community.output_parsers.rail_parser import GuardrailsOutputParser warnings.warn( 2024-07-19 18:49:09.894 | INFO | chatchat.server.knowledge_base.kb_cache.faiss_cache:load_vector_store:109 - loading vector store in 'samples/vector_store/bge-large-zh-v1.5' from disk. 然后就一直卡这儿不动了。在chatchat的网页上操作有关知识库的内容也是一样，点完就没动静了（创建知识库可以，但是添加文件进向量库等操作不行），请问可能是哪里的问题？

[Copilotes]

模型配置文件如下： #模型配置项 #默认选用的 LLM 名称 DEFAULT_LLM_MODEL: qwen2-7b-instruct

#默认选用的 Embedding 名称 DEFAULT_EMBEDDING_MODEL: bge-large-zh-v1.5

#AgentLM模型的名称 (可以不指定，指定之后就锁定进入Agent之后的Chain的模型，不指定就是 DEFAULT_LLM_MODEL) Agent_MODEL: ''

#默认历史对话轮数 HISTORY_LEN: 3

#大模型最长支持的长度，如果不填写，则使用模型默认的最大长度，如果填写，则为用户设定的最大长度 MAX_TOKENS:

#LLM通用对话参数 TEMPERATURE: 0.7

#支持的Agent模型 SUPPORT_AGENT_MODELS:

• chatglm3-6b
• glm-4
• openai-api
• Qwen-2
• qwen2-instruct
• gpt-3.5-turbo
• gpt-4o

#LLM模型配置，包括了不同模态初始化参数。 #model 如果留空则自动使用 DEFAULT_LLM_MODEL LLM_MODEL_CONFIG: preprocess_model: model: 'qwen2-7b-instruct' temperature: 0.05 max_tokens: 4096 history_len: 10 prompt_name: default callbacks: false llm_model: model: 'qwen2-7b-instruct' temperature: 0.9 max_tokens: 4096 history_len: 10 prompt_name: default callbacks: true action_model: model: 'qwen2-7b-instruct' temperature: 0.01 max_tokens: 4096 history_len: 10 prompt_name: qwen callbacks: true postprocess_model: model: 'qwen2-7b-instruct' temperature: 0.01 max_tokens: 4096 history_len: 10 prompt_name: default callbacks: true image_model: model: sd-turbo size: 256*256

MODEL_PLATFORMS:

• platform_name: ollama platform_type: ollama api_base_url: http://172.17.0.1:8000/v1 api_key: EMPTY api_proxy: '' api_concurrencies: 5 auto_detect_model: false llm_models:
  • qwen2-7b-instruct embed_models:
  • bge-large-zh-v1.5 text2image_models: [] image2text_models: [] rerank_models: [] speech2text_models: [] text2speech_models: []

basic_settings.yaml和kb_settings.yaml没动

[Copilotes]

ollama配置如下 root@86ee9f449bc5:/# ollama list NAME ID SIZE MODIFIED bge-large-zh-v1.5:latest bc8ca0995fcd 651 MB 26 hours ago qwen2-7b-instruct:latest 3f5a2ad726c9 8.1 GB 3 days ago

目前用chatchat的聊天功能正常，但是一涉及到知识库的操作就无响应。

[liunux4odoo]

检查一下 Embeding 模型是否正常配置并启动了。

[Copilotes]

我也有点怀疑是Embeding模型这边的问题，不知ollama下应该如何配置embeding模型？ 我看网上说embeding是不能用ollama run 来直接跑的，因此就保持只是pull下来的那个状态，用ollama run跑的是qwen2的那个模型。

[Lee-Array]

楼主这个问题解决了吗？ 我是本地源码启动 +ollama 报错如下： 2024-07-24 10:34:56.269 | WARNING | chatchat.server.utils:get_default_embedding:214 - default embedding model bge-large-zh-v1.5-f32:latest is not found in available embeddings, using quentinz/bge-large-zh-v1.5-f32:latest instead 2024-07-24 10:34:56.278 | INFO | chatchat.server.knowledge_base.kb_cache.faiss_cache:load_vector_store:109 - loading vector store in 'samples/vector_store/quentinz/bge-large-zh-v1.5-f32_latest' from disk. 2024-07-24 10:34:56.307 | ERROR | chatchat.server.knowledge_base.kb_cache.faiss_cache:load_vector_store:140 - Error raised by inference API HTTP code: 404, {"error":"model 'quentinz/bge-large-zh-v1.5-f32:latest' not found, try pulling it first"} 2024-07-24 10:34:56.307 | ERROR | chatchat.init_database:worker:61 - 向量库 samples 加载失败。

[Copilotes]

没解决啊，这两天一直在研究chatchat+ollama的部署方案，但一直也没成功。 官方似乎只对xreference感兴趣，其他几类工具仅仅说支持，但文档太少。

[liunux4odoo]

"error":"model 'quentinz/bge-large-zh-v1.5-f32:latest' not found, try pulling it first"

[Yanhuanjin]

哈哈，文档上一笔带过，也没有说明embedding怎么设置，对于新人确实是卡在这里了

[RollinsSeth]

"error":"model 'quentinz/bge-large-zh-v1.5-f32:latest' not found, try pulling it first"

请问解决了吗？我目前也是卡在这里了，ollama pull了这个embedding model，但是还是报错，按照提示的路径打开文件夹后，里面是空的

[Yuhao-Luo]

一样，被这个embedding卡住了，

[zonjfuturebo]

我直接使用ollama官方库中的embedding模型：nomic-embed-text，成功创建向量库了 | INFO | chatchat.server.knowledge_base.kb_cache.faiss_cache:save:40 - 已将向量库 ('samples', 'nomic-embed-text') 保存到磁盘

---

知识库名称 ：samples 知识库类型 ：faiss 向量模型： ：nomic-embed-text 知识库路径 ：E:\langchain-chatchat\data\knowledge_base\samples 文件总数量 ：12 入库文件数 ：10 知识条目数 ：687 用时 ：0:00:31.639781

总计用时 ：0:00:31.654308

[zonjfuturebo]

我直接使用ollama官方库中的embedding模型：nomic-embed-text，成功创建向量库了 | INFO | chatchat.server.knowledge_base.kb_cache.faiss_cache:save:40 - 已将向量库 ('samples', 'nomic-embed-text') 保存到磁盘

知识库名称 ：samples

知识库类型 ：faiss 向量模型： ：nomic-embed-text 知识库路径 ：E:\langchain-chatchat\data\knowledge_base\samples 文件总数量 ：12 入库文件数 ：10 知识条目数 ：687 用时 ：0:00:31.639781 总计用时 ：0:00:31.654308

model_settings如下： MODEL_PLATFORMS:

• platform_name: ollama platform_type: ollama api_base_url: http://127.0.0.1:11434/v1 api_key: EMPTY api_proxy: '' api_concurrencies: 5 auto_detect_model: false llm_models:
  • qwen2 embed_models:
  • nomic-embed-text text2image_models: [] image2text_models: [] rerank_models: [] speech2text_models: [] text2speech_models: []

[Clichong]

一样的问题，embedding选择bge-m3，重新进行一下chatchat init之后就解决了

[HoseaDev]

pip install xinference-client

[KathySkyer]

请问解决了吗？

[githubcust]

已经解决了，谢谢！

wangkz

发件人： KathySkyer 发送时间： 2024-12-24 17:32 收件人： chatchat-space/Langchain-Chatchat 抄送： githubcust; Comment 主题： Re: [chatchat-space/Langchain-Chatchat] 0.3.1.1版本+ollama 知识库初始化无响应 (Issue #4572) 请问解决了吗？ — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

[rhh2019]

一样的问题，embedding选择bge-m3，重新进行一下chatchat init之后就解决了

请问嵌入模型是直接通过ollama pull bge-m3下载的吗，我这样配置有啥问题么，还是和楼主同样报错

model_setting.yaml配置如下：

#模型配置项

#默认选用的 LLM 名称 DEFAULT_LLM_MODEL: qwen2.5:7b

#默认选用的 Embedding 名称 DEFAULT_EMBEDDING_MODEL: bge-m3:latest

#AgentLM模型的名称 (可以不指定，指定之后就锁定进入Agent之后的Chain的模型，不指定就是 DEFAULT_LLM_MODEL) Agent_MODEL: ''

#默认历史对话轮数 HISTORY_LEN: 3

#大模型最长支持的长度，如果不填写，则使用模型默认的最大长度，如果填写，则为用户设定的最大长度 MAX_TOKENS:

#LLM通用对话参数 TEMPERATURE: 0.7

#支持的Agent模型 SUPPORT_AGENT_MODELS:

• chatglm3-6b
• glm-4
• openai-api
• Qwen-2
• qwen2-instruct
• gpt-3.5-turbo
• gpt-4o

#LLM模型配置，包括了不同模态初始化参数。 #model 如果留空则自动使用 DEFAULT_LLM_MODEL LLM_MODEL_CONFIG: preprocess_model: model: '' temperature: 0.05 max_tokens: 4096 history_len: 10 prompt_name: default callbacks: false llm_model: model: '' temperature: 0.9 max_tokens: 4096 history_len: 10 prompt_name: default callbacks: true action_model: model: '' temperature: 0.01 max_tokens: 4096 history_len: 10 prompt_name: ChatGLM3 callbacks: true postprocess_model: model: '' temperature: 0.01 max_tokens: 4096 history_len: 10 prompt_name: default callbacks: true image_model: model: sd-turbo size: 256*256

##模型加载平台配置

##平台名称 #platform_name: xinference

##平台类型 ##可选值：['xinference', 'ollama', 'oneapi', 'fastchat', 'openai', 'custom openai'] #platform_type: xinference

##openai api url #api_base_url: http://127.0.0.1:9997/v1

##api key if available #api_key: EMPTY

##API 代理 #api_proxy: ''

##该平台单模型最大并发数 #api_concurrencies: 5

##是否自动获取平台可用模型列表。设为 True 时下方不同模型类型可自动检测 #auto_detect_model: false

##该平台支持的大语言模型列表，auto_detect_model 设为 True 时自动检测 #llm_models: []

##该平台支持的嵌入模型列表，auto_detect_model 设为 True 时自动检测 #embed_models: []

##该平台支持的图像生成模型列表，auto_detect_model 设为 True 时自动检测 #text2image_models: []

##该平台支持的多模态模型列表，auto_detect_model 设为 True 时自动检测 #image2text_models: []

##该平台支持的重排模型列表，auto_detect_model 设为 True 时自动检测 #rerank_models: []

##该平台支持的 STT 模型列表，auto_detect_model 设为 True 时自动检测 #speech2text_models: []

##该平台支持的 TTS 模型列表，auto_detect_model 设为 True 时自动检测 #text2speech_models: [] MODEL_PLATFORMS:

• platform_name: xinference platform_type: xinference api_base_url: http://127.0.0.1:9997/v1 api_key: EMPTY api_proxy: '' api_concurrencies: 5 auto_detect_model: true llm_models: [] embed_models: [] text2image_models: [] image2text_models: [] rerank_models: [] speech2text_models: [] text2speech_models: []
• platform_name: ollama platform_type: ollama api_base_url: http://127.0.0.1:11434/v1 api_key: EMPTY api_proxy: '' api_concurrencies: 5 auto_detect_model: false llm_models:
  • qwen:7b
  • qwen2.5:7b embed_models:
  • quentinz/bge-large-zh-v1.5 text2image_models: [] image2text_models: [] rerank_models: [] speech2text_models: [] text2speech_models: []
• platform_name: oneapi platform_type: oneapi api_base_url: http://127.0.0.1:3000/v1 api_key: sk- api_proxy: '' api_concurrencies: 5 auto_detect_model: false llm_models:
  • chatglm_pro
  • chatglm_turbo
  • chatglm_std
  • chatglm_lite
  • qwen-turbo
  • qwen-plus
  • qwen-max
  • qwen-max-longcontext
  • ERNIE-Bot
  • ERNIE-Bot-turbo
  • ERNIE-Bot-4
  • SparkDesk embed_models:
  • text-embedding-v1
  • Embedding-V1 text2image_models: [] image2text_models: [] rerank_models: [] speech2text_models: [] text2speech_models: []
• platform_name: openai platform_type: openai api_base_url: https://api.openai.com/v1 api_key: sk-proj- api_proxy: '' api_concurrencies: 5 auto_detect_model: false llm_models:
  • gpt-4o
  • gpt-3.5-turbo embed_models:
  • text-embedding-3-small
  • text-embedding-3-large text2image_models: [] image2text_models: [] rerank_models: [] speech2text_models: [] text2speech_models: []`

[tehcia000]

换成这个quentinz/bge-large-zh-v1.5:latest可以成功。