有没有可以直接部署的docker镜像

[yuanjie-ai]

起始日期 | Start Date

有没有可以直接部署的docker镜像

实现PR | Implementation PR

有没有可以直接部署的docker镜像

相关Issues | Reference Issues

有没有可以直接部署的docker镜像

摘要 | Summary

有没有可以直接部署的docker镜像

基本示例 | Basic Example

有没有可以直接部署的docker镜像

缺陷 | Drawbacks

有没有可以直接部署的docker镜像

未解决问题 | Unresolved questions

有没有可以直接部署的docker镜像

[renjingneng]

假如要用vllm推理，两步就行了，很简单的

1. 编译制作好.whl文件
2. 基于英伟达官方的推理镜像上制作，载入编译好的文件,然后安装各种包 注意编译的主机的nvcc版本、driver版本和英伟达推理镜像对齐

[renjingneng]

假如要用vllm推理，两步就行了，很简单的

1. 编译制作好.whl文件
2. 基于英伟达官方的推理镜像上制作，载入编译好的文件,然后安装各种包 注意编译的主机的nvcc版本、driver版本和英伟达推理镜像对齐

可以参考https://github.com/vllm-project/vllm/blob/main/Dockerfile 不过他这个是在镜像里编译的

[iceflame89]

现在vllm支持直接pip install vllm==0.5.4使用，支持openbmb/MiniCPM-V-2_6及openbmb/MiniCPM-Llama3-V-2_5

假如要用vllm推理，两步就行了，很简单的

1. 编译制作好.whl文件
2. 基于英伟达官方的推理镜像上制作，载入编译好的文件,然后安装各种包 注意编译的主机的nvcc版本、driver版本和英伟达推理镜像对齐

[chuangzhidan]

假如要用vllm推理，两步就行了，很简单的

1. 编译制作好.whl文件
2. 基于英伟达官方的推理镜像上制作，载入编译好的文件,然后安装各种包 注意编译的主机的nvcc版本、driver版本和英伟达推理镜像对齐

可以参考https://github.com/vllm-project/vllm/blob/main/Dockerfile 不过他这个是在镜像里编译的

这个好繁琐，不是针对面壁模型的