MING issues

文档中MOE的启动参数无法启动

3

CUDA_VISIBLE_DEVICES=0 python -m fastchat.serve.cli \ --model_path {path_to_checkpoint} \ # 模型路径 --model_base {path_to_base_model} \ # 基座模型路径 --max-new-token 3072 # 输出最大长度错误提示： usage: cli.py [-h] [--model-path MODEL_PATH] [--revision REVISION] [--device {cpu,cuda,mps,xpu,npu}] [--gpus...

weweliang

请问为什么选择微调而没有使用大模型+知识库呢

1

感觉大模型+知识库，在数据更新、解决幻觉问题方面都很有优势请问当初为什么选择微调而不是大模型+知识库呢是不是大模型+知识库有什么问题，需要通过微调来解决呢？

xielinzhen

运行模型问题

5

ming 7b：python -m fastchat.serve.cli \ --model-path {path_to_checkpoint} \ # 模型路径 --conv_template bloom \ # prompt --max-new-token 512 \ # 输出最大长度 --beam-size 3 \ # beam search宽度 --temperature 1.2 # 采样温度...

Marcos114514

MoE架构支持vllm部署吗

MoE架构支持vllm或者lmdeploy部署吗

han508

如何进行API调用？

4

目前只能通过终端调用，请问如何通过API调用？

williamsnow

关于模型转换格式成 gguf

从 BlueZeros/MING-MOE-14B 下载了模型 `git clone https://huggingface.co/BlueZeros/MING-MOE-14B ming` 后续使用以下命令转换 `lora` 到 `ggml` 是成功的 ``` (ollama) ╭─hougelangley at Arch-Legion in ~/ollama on main✘✘✘ 24-04-17 - 22:41:42 ╰─(ollama) ⠠⠵ python llm/llama.cpp/convert-lora-to-ggml.py ./ming model.layers.0.self_attn.k_proj...

HougeLangley