Langchain-Chatchat icon indicating copy to clipboard operation
Langchain-Chatchat copied to clipboard

[BUG] 对话报错openai.APIConnectionError: Connection error

Open quinbyjoe opened this issue 3 months ago • 6 comments

问题描述 / Problem Description 离线部署Langchain-Chatchat,使用服务器(无GPU)CPU部署,问答时报错:openai.APIConnectionError: Connection error

复现问题的步骤 / Steps to Reproduce

  1. 执行 'python startup.py -a
  2. 输入'hi'点击 '发送'
  3. 问答界面无回答结果
  4. 问题出现,后台报错:openai.APIConnectionError: Connection error

附件:chatchat_error.zip 配置见:附件中的*_config.py 错误log见:附件中的run_err_2024_0320_1738.log

预期的结果 / Expected Result 使用离线模型回答问题。

现的结果 / Describe the expected result.

实际结果 / Actual Result 问答界面无回答结果,后台报错:openai.APIConnectionError: Connection error

环境信息 / Environment Information ==============================Langchain-Chatchat Configuration============================== 操作系统:Linux-6.5.0-25-generic-x86_64-with-glibc2.35. python版本:3.11.8 (main, Feb 26 2024, 21:39:34) [GCC 11.2.0] 项目版本:v0.2.10 langchain版本:0.0.354. fastchat版本:0.2.36

当前使用的分词器:ChineseRecursiveTextSplitter 当前启动的LLM模型:['chatglm3-6b'] @ cpu {'device': 'cpu', 'host': '0.0.0.0', 'infer_turbo': False, 'model_path': '/home/qiaoquanbin/project/chatgpt/Langchain-Chatchat/Langchain-Chatchat-demo/chatglm3-6b', 'model_path_exists': True, 'port': 20002} 当前Embbedings模型: bge-large-zh-v1.5 @ cpu ==============================Langchain-Chatchat Configuration==============================

附加信息 / Additional Information 如何在CPU上离线部署和使用,不使用openai-api。

quinbyjoe avatar Mar 20 '24 09:03 quinbyjoe