MiniCPM
MiniCPM copied to clipboard
[Bug]: 按照官方vllm装不上的解答步骤,未运行成功
Is there an existing issue ? / 是否已有相关的 issue ?
- [X] I have searched, and there is no existing issue. / 我已经搜索过了,没有相关的 issue。
Describe the bug / 描述这个 bug
按照https://modelbest.feishu.cn/wiki/LrdMwKKt3iZgoYkQlPRcvY1PnXc中的说明,安装了官方vllm后,对指定位置进行修改,运行时报错ValueError: Model architectures ['MiniCPM3ForCausalLM'] are not supported for now. Supported architectures
To Reproduce / 如何复现
创建容器 在容器中安装requirements需要的库 修改/usr/local/lib/python3.10/dist-packages/vllm/中指定位置信息
Expected behavior / 期望的结果
No response
Screenshots / 截图
Environment / 环境
- OS: [e.g. Ubuntu 20.04]
- Pytorch: [e.g. torch 2.0.0]
- CUDA: [e.g. CUDA 11.8]
- Device: [e.g. A10, RTX3090]
Additional context / 其他信息
No response
我用llama.cpp 想用ollama 跑一下量化的模型,也是不支持 。只能等官方适配了
你好,感觉你这个vllm报错事因为你没有修改__init__.py文件,看下教程,要修改的地方有两个
你修改好,感觉你这个vllm报错事因为你没有修改__init__.py文件,看下教程,要的地方有两个
修改了之后报错