德拉科W

配置如下 server_config.py ```python FSCHAT_MODEL_WORKERS = { # 所有模型共用的默认配置，可在模型专项配置中进行覆盖。 "default": { "host": DEFAULT_BIND_HOST, "port": 20002, "device": LLM_DEVICE, # False,'vllm',使用的推理加速框架,使用vllm如果出现HuggingFace通信问题，参见doc/FAQ # vllm对一些模型支持还不成熟，暂时默认关闭 "infer_turbo": False, # model_worker多卡加载需要配置的参数 "gpus": "0,1", # 使用的GPU，以str的格式指定，如"0,1"，如失效请使用CUDA_VISIBLE_DEVICES="0,1"等形式指定 "num_gpus": 2,...