文档中MOE的启动参数无法启动

[weweliang]

CUDA_VISIBLE_DEVICES=0 python -m fastchat.serve.cli
--model_path {path_to_checkpoint} \ # 模型路径 --model_base {path_to_base_model} \ # 基座模型路径 --max-new-token 3072 # 输出最大长度

错误提示： usage: cli.py [-h] [--model-path MODEL_PATH] [--revision REVISION] [--device {cpu,cuda,mps,xpu,npu}] [--gpus GPUS] [--num-gpus NUM_GPUS] [--max-gpu-memory MAX_GPU_MEMORY] [--dtype {float32,float16,bfloat16}] [--load-8bit] [--cpu-offloading] [--gptq-ckpt GPTQ_CKPT] [--gptq-wbits {2,3,4,8,16}] [--gptq-groupsize GPTQ_GROUPSIZE] [--gptq-act-order] [--awq-ckpt AWQ_CKPT] [--awq-wbits {4,16}] [--awq-groupsize AWQ_GROUPSIZE] [--enable-exllama] [--exllama-max-seq-len EXLLAMA_MAX_SEQ_LEN] [--exllama-gpu-split EXLLAMA_GPU_SPLIT] [--exllama-cache-8bit] [--enable-xft] [--xft-max-seq-len XFT_MAX_SEQ_LEN] [--xft-dtype {fp16,bf16,int8,bf16_fp16,bf16_int8}] [--conv-template CONV_TEMPLATE] [--conv-system-msg CONV_SYSTEM_MSG] [--temperature TEMPERATURE] [--repetition_penalty REPETITION_PENALTY] [--max-new-tokens MAX_NEW_TOKENS] [--no-history] [--style {simple,rich,programmatic}] [--multiline] [--mouse] [--judge-sent-end] [--debug] cli.py: error: unrecognized arguments: --model-base /root/autodl-tmp/MING/Qwen1.5-7B-Chat

是要装特定版本的fastchat吗？

[EniKot]

疑似是作者自己写了一套fastchat，见MING/ming/serve/cli.py,直接用这个脚本可以跑起来

[weweliang]

文档写得。。。。参数里经常-_不分。 后来就试着先跑MING-7B，摸索下来，要切换到main分支，才能安装运行成功。。。。那个fastchat版本号显示是0.2.2. 找时间再试试跑跑MOE的版本吧

[BlueZeros]

@weweliang 非常抱歉，更新的时候忘记检查运行命令了，现在已经修正，可以用这个试试,现在moe的分支也支持MING-7b了

CUDA_VISIBLE_DEVICES=0 python -m ming/serve/cli.py \
    --model_path {path_to_checkpoint} \ # 模型路径
    --conv_template bloom \ # prompt
    --max_new_token 512 \ # 输出最大长度
    --beam_size 3 \ # beam search宽度
    --temperature 1.2 # 采样温度

[weweliang]

还是直接用原版的fastchat，按常规做法加载模型路径跑好一点，那样没什么问题。