Langchain-Chatchat icon indicating copy to clipboard operation
Langchain-Chatchat copied to clipboard

CPU使用问题

Open Yogier opened this issue 11 months ago • 2 comments

如果只想使用CPU的话,是不是下述代码中 "gpus": None要打开?

FSCHAT_MODEL_WORKERS = { # 所有模型共用的默认配置,可在模型专项配置中进行覆盖。 "default": { "host": DEFAULT_BIND_HOST, "port": 20002, "device": LLM_DEVICE, # False,'vllm',使用的推理加速框架,使用vllm如果出现HuggingFace通信问题,参见doc/FAQ # vllm对一些模型支持还不成熟,暂时默认关闭 "infer_turbo": False,

    # model_worker多卡加载需要配置的参数
    # "gpus": None, # 使用的GPU,以str的格式指定,如"0,1",如失效请使用CUDA_VISIBLE_DEVICES="0,1"等形式指定
    # "num_gpus": 1, # 使用GPU的数量
    # "max_gpu_memory": "20GiB", # 每个GPU占用的最大显存

    # 以下为model_worker非常用参数,可根据需要配置
    # "load_8bit": False, # 开启8bit量化
    # "cpu_offloading": None,
    # "gptq_ckpt": None,
    # "gptq_wbits": 16,
    # "gptq_groupsize": -1,
    # "gptq_act_order": False,
    # "awq_ckpt": None,
    # "awq_wbits": 16,
    # "awq_groupsize": -1,
    # "model_names": LLM_MODELS,
    # "conv_template": None,
    # "limit_worker_concurrency": 5,
    # "stream_interval": 2,
    # "no_register": False,
    # "embed_in_truncate": False,

Yogier avatar Mar 18 '24 01:03 Yogier