Yogier

[BUG] 简洁阐述问题 / Concise description of the issue

1

server_config.py文件中此处改为CPU后加载不出来： "chatglm3-6b": { "device": "cuda", }, 以下为加载内容： (langchain) [root@localhost Langchain-Chatchat]# python startup.py -a ==============================Langchain-Chatchat Configuration============================== 操作系统：Linux-3.10.0-1160.102.1.el7.x86_64-x86_64-with-glibc2.17. python版本：3.11.8 (main, Feb 26 2024, 21:39:34) [GCC 11.2.0] 项目版本：v0.2.10 langchain版本：0.0.354. fastchat版本：0.2.35 当前使用的分词器：ChineseRecursiveTextSplitter 当前启动的LLM模型：['chatglm3-6b', 'zhipu-api',...

如何设置CPU运行

3

当前启动的LLM模型：['chatglm3-6b', 'zhipu-api', 'openai-api'] @ cpu {'device': 'cuda', //此处cuda如何改为CPU

如何配置 本地知识库

6

$ git lfs install $ git clone https://huggingface.co/THUDM/chatglm3-6b $ git clone https://huggingface.co/BAAI/bge-large-zh 知识库下载在本地后如何配置？

项目运行配置

1

项目运行完美配置是什么？

--device cpu 无法识别参数

1

(langchain) [root@localhost Langchain-Chatchat]# python startup.py -a --device cpu usage: startup.py [-h] [-a] [--all-api] [--llm-api] [-o] [-m] [-n MODEL_NAME [MODEL_NAME ...]] [-c CONTROLLER_ADDRESS] [--api] [-p] [-w] [-q] [-i] startup.py: error: unrecognized...

python startup.py -a --device cpu 指令不正确

1

python startup.py -a --device cpu //告警显示 --device cpu 口令不正确

CPU使用问题

2

如果只想使用CPU的话，是不是下述代码中 "gpus": None要打开？ FSCHAT_MODEL_WORKERS = { # 所有模型共用的默认配置，可在模型专项配置中进行覆盖。 "default": { "host": DEFAULT_BIND_HOST, "port": 20002, "device": LLM_DEVICE, # False,'vllm',使用的推理加速框架,使用vllm如果出现HuggingFace通信问题，参见doc/FAQ # vllm对一些模型支持还不成熟，暂时默认关闭 "infer_turbo": False, # model_worker多卡加载需要配置的参数 # "gpus": None, # 使用的GPU，以str的格式指定，如"0,1"，如失效请使用CUDA_VISIBLE_DEVICES="0,1"等形式指定 #...

Failed to build fairseq ERROR: Could not build wheels for fairseq, which is required to install pyproject.toml-based projects

3

Failed to build fairseq ERROR: Could not build wheels for fairseq, which is required to install pyproject.toml-based projects how to resolve it?