MiniCPM icon indicating copy to clipboard operation
MiniCPM copied to clipboard

[Bug]: 按照官方vllm装不上的解答步骤,未运行成功

Open sssuperrrr opened this issue 1 year ago • 2 comments

Is there an existing issue ? / 是否已有相关的 issue ?

  • [X] I have searched, and there is no existing issue. / 我已经搜索过了,没有相关的 issue。

Describe the bug / 描述这个 bug

按照https://modelbest.feishu.cn/wiki/LrdMwKKt3iZgoYkQlPRcvY1PnXc中的说明,安装了官方vllm后,对指定位置进行修改,运行时报错ValueError: Model architectures ['MiniCPM3ForCausalLM'] are not supported for now. Supported architectures

To Reproduce / 如何复现

创建容器 在容器中安装requirements需要的库 修改/usr/local/lib/python3.10/dist-packages/vllm/中指定位置信息

Expected behavior / 期望的结果

No response

Screenshots / 截图

image

Environment / 环境

- OS: [e.g. Ubuntu 20.04]
- Pytorch: [e.g. torch 2.0.0]
- CUDA: [e.g. CUDA 11.8]
- Device: [e.g. A10, RTX3090]

Additional context / 其他信息

No response

sssuperrrr avatar Sep 11 '24 06:09 sssuperrrr

我用llama.cpp 想用ollama 跑一下量化的模型,也是不支持 。只能等官方适配了

KevinLiangX avatar Sep 11 '24 07:09 KevinLiangX

你好,感觉你这个vllm报错事因为你没有修改__init__.py文件,看下教程,要修改的地方有两个

LDLINGLINGLING avatar Sep 11 '24 13:09 LDLINGLINGLING

你修改好,感觉你这个vllm报错事因为你没有修改__init__.py文件,看下教程,要的地方有两个

修改了之后报错 image

sssuperrrr avatar Sep 12 '24 02:09 sssuperrrr