MindSearch Docker compose 需要安装的镜像服务器磁盘需要多大的容量？目前60G都不够下

Aug 14 '24 06:08 halyang92

@lcolok

Aug 14 '24 12:08 Harold-lkk

@halyang92 你是在制作镜像的时候出现的这个问题吗？

Aug 15 '24 02:08 wangr0031

镜像大小如下：机器磁盘如下：

Aug 15 '24 02:08 wangr0031

@halyang92 目前 Docker Compose 的方案是前后端纯本地运行，所以磁盘开销较大，算力要求也比较高，需要 12 GB 或以上的显存。

统计了一下，后端容器占磁盘 15 GB 以上，加上官方所使用的本地大语言模型 InternLM2.5-7b，总磁盘占用是 30 GB 以上。

后端容器所使用的基础镜像是openmmlab所推出的lmdeploy镜像，各个版本的镜像地址：https://hub.docker.com/r/openmmlab/lmdeploy/tags 大语言模型 InternLM2.5 项目地址：https://huggingface.co/internlm/internlm2_5-7b-chat

Aug 19 '24 06:08 lcolok

@halyang92 目前 Docker Compose 的方案是前后端纯本地运行，所以磁盘开销较大，算力要求也比较高，需要 12 GB 或以上的显存。

统计了一下，后端容器占磁盘 15 GB 以上，加上官方所使用的本地大语言模型 InternLM2.5-7b，总磁盘占用是 30 GB 以上。

后端容器所使用的基础镜像是openmmlab所推出的lmdeploy镜像，各个版本的镜像地址：https://hub.docker.com/r/openmmlab/lmdeploy/tags 大语言模型 InternLM2.5 项目地址：https://huggingface.co/internlm/internlm2_5-7b-chat

请问，docker compose 的镜像 --model_format internlm_server 启动方式已经带 InternLM2.5-7b 模型了吗？如果没有带，发送第一条消息会下载吗？或者如何下载模型，以及下载模型进度如何查看？非常感谢目前遇到了发送消息 无返回 的问题，容器日志无报错

POST http://localhost:8080/solve 200 返回结果：

<!doctype html>
<html lang="en">
  <head>
    <meta charset="UTF-8" />
    <link rel="icon" type="image/svg+xml" href="" />
    <meta name="viewport" content="width=device-width, initial-scale=1.0" />
    <title></title>
    <script type="module" crossorigin src="/assets/index-1fbb8505.js"></script>
    <link rel="stylesheet" href="/assets/index-370d661c.css">
    <script type="module">import.meta.url;import("_").catch(()=>1);async function* g(){};if(location.protocol!="file:"){window.__vite_is_modern_browser=true}</script>
    <script type="module">!function(){if(window.__vite_is_modern_browser)return;console.warn("vite: loading legacy chunks, syntax error above and the same error below should be ignored");var e=document.getElementById("vite-legacy-polyfill"),n=document.createElement("script");n.src=e.src,n.onload=function(){System.import(document.getElementById('vite-legacy-entry').getAttribute('data-src'))},document.body.appendChild(n)}();</script>
  </head>

  <body>
    <div id="root"></div>
    
    <script nomodule>!function(){var e=document,t=e.createElement("script");if(!("noModule"in t)&&"onbeforeload"in t){var n=!1;e.addEventListener("beforeload",(function(e){if(e.target===t)n=!0;else if(!e.target.hasAttribute("nomodule")||!n)return;e.preventDefault()}),!0),t.type="module",t.src=".",e.head.appendChild(t),t.remove()}}();</script>
    <script nomodule crossorigin id="vite-legacy-polyfill" src="/assets/polyfills-legacy-0b55db5f.js"></script>
    <script nomodule crossorigin id="vite-legacy-entry" data-src="/assets/index-legacy-3d84d894.js">System.import(document.getElementById('vite-legacy-entry').getAttribute('data-src'))</script>
  </body>
</html>

Aug 25 '24 15:08 lou-lan

@halyang92 目前 Docker Compose 的方案是前后端纯本地运行，所以磁盘开销较大，算力要求也比较高，需要 12 GB 或以上的显存。统计了一下，后端容器占磁盘 15 GB 以上，加上官方所使用的本地大语言模型 InternLM2.5-7b，总磁盘占用是 30 GB 以上。后端容器所使用的基础镜像是openmmlab所推出的lmdeploy镜像，各个版本的镜像地址：https://hub.docker.com/r/openmmlab/lmdeploy/tags 大语言模型 InternLM2.5 项目地址：https://huggingface.co/internlm/internlm2_5-7b-chat

请问，docker compose 的镜像 --model_format internlm_server 启动方式已经带 InternLM2.5-7b 模型了吗？如果没有带，发送第一条消息会下载吗？或者如何下载模型，以及下载模型进度如何查看？非常感谢目前遇到了发送消息 无返回 的问题，容器日志无报错

POST http://localhost:8080/solve 200 返回结果：
<!doctype html>
<html lang="en">
  <head>
    <meta charset="UTF-8" />
    <link rel="icon" type="image/svg+xml" href="" />
    <meta name="viewport" content="width=device-width, initial-scale=1.0" />
    <title></title>
    <script type="module" crossorigin src="/assets/index-1fbb8505.js"></script>
    <link rel="stylesheet" href="/assets/index-370d661c.css">
    <script type="module">import.meta.url;import("_").catch(()=>1);async function* g(){};if(location.protocol!="file:"){window.__vite_is_modern_browser=true}</script>
    <script type="module">!function(){if(window.__vite_is_modern_browser)return;console.warn("vite: loading legacy chunks, syntax error above and the same error below should be ignored");var e=document.getElementById("vite-legacy-polyfill"),n=document.createElement("script");n.src=e.src,n.onload=function(){System.import(document.getElementById('vite-legacy-entry').getAttribute('data-src'))},document.body.appendChild(n)}();</script>
  </head>

  <body>
    <div id="root"></div>
    
    <script nomodule>!function(){var e=document,t=e.createElement("script");if(!("noModule"in t)&&"onbeforeload"in t){var n=!1;e.addEventListener("beforeload",(function(e){if(e.target===t)n=!0;else if(!e.target.hasAttribute("nomodule")||!n)return;e.preventDefault()}),!0),t.type="module",t.src=".",e.head.appendChild(t),t.remove()}}();</script>
    <script nomodule crossorigin id="vite-legacy-polyfill" src="/assets/polyfills-legacy-0b55db5f.js"></script>
    <script nomodule crossorigin id="vite-legacy-entry" data-src="/assets/index-legacy-3d84d894.js">System.import(document.getElementById('vite-legacy-entry').getAttribute('data-src'))</script>
  </body>
</html>

目前是发送第一条信息之后才会下载模型的，是使用Huggingface的方式进行下载的，默认是会保存在/root/.cache目录下面

Aug 27 '24 06:08 lcolok

@halyang92 目前 Docker Compose 的方案是前后端纯本地运行，所以磁盘开销较大，算力要求也比较高，需要 12 GB 或以上的显存。统计了一下，后端容器占磁盘 15 GB 以上，加上官方所使用的本地大语言模型 InternLM2.5-7b，总磁盘占用是 30 GB 以上。后端容器所使用的基础镜像是openmmlab所推出的lmdeploy镜像，各个版本的镜像地址：https://hub.docker.com/r/openmmlab/lmdeploy/tags 大语言模型 InternLM2.5 项目地址：https://huggingface.co/internlm/internlm2_5-7b-chat

请问，docker compose 的镜像 --model_format internlm_server 启动方式已经带 InternLM2.5-7b 模型了吗？如果没有带，发送第一条消息会下载吗？或者如何下载模型，以及下载模型进度如何查看？非常感谢目前遇到了发送消息 无返回 的问题，容器日志无报错 POST http://localhost:8080/solve 200 返回结果：
<!doctype html>
<html lang="en">
  <head>
    <meta charset="UTF-8" />
    <link rel="icon" type="image/svg+xml" href="" />
    <meta name="viewport" content="width=device-width, initial-scale=1.0" />
    <title></title>
    <script type="module" crossorigin src="/assets/index-1fbb8505.js"></script>
    <link rel="stylesheet" href="/assets/index-370d661c.css">
    <script type="module">import.meta.url;import("_").catch(()=>1);async function* g(){};if(location.protocol!="file:"){window.__vite_is_modern_browser=true}</script>
    <script type="module">!function(){if(window.__vite_is_modern_browser)return;console.warn("vite: loading legacy chunks, syntax error above and the same error below should be ignored");var e=document.getElementById("vite-legacy-polyfill"),n=document.createElement("script");n.src=e.src,n.onload=function(){System.import(document.getElementById('vite-legacy-entry').getAttribute('data-src'))},document.body.appendChild(n)}();</script>
  </head>

  <body>
    <div id="root"></div>
    
    <script nomodule>!function(){var e=document,t=e.createElement("script");if(!("noModule"in t)&&"onbeforeload"in t){var n=!1;e.addEventListener("beforeload",(function(e){if(e.target===t)n=!0;else if(!e.target.hasAttribute("nomodule")||!n)return;e.preventDefault()}),!0),t.type="module",t.src=".",e.head.appendChild(t),t.remove()}}();</script>
    <script nomodule crossorigin id="vite-legacy-polyfill" src="/assets/polyfills-legacy-0b55db5f.js"></script>
    <script nomodule crossorigin id="vite-legacy-entry" data-src="/assets/index-legacy-3d84d894.js">System.import(document.getElementById('vite-legacy-entry').getAttribute('data-src'))</script>
  </body>
</html>
目前是发送第一条信息之后才会下载模型的，是使用Huggingface的方式进行下载的，默认是会保存在/root/.cache目录下面

你好请问哪里能找到docker-compose.yaml?找了半天没找到这个文件,想通过docker compose的方式来部署一下试试看,感谢

Sep 01 '24 16:09 leodu0926

@leodu0926 最新版本可以查看 https://github.com/InternLM/MindSearch/blob/main/docker/README_zh-CN.md 这份文档，里面有一键部署的方法，具体 docker-compose.yaml 位于https://github.com/InternLM/MindSearch/blob/main/docker/msdl/templates/docker-compose.yaml 这个路径下面，目前是作为一份模板来使用它的

Sep 03 '24 05:09 lcolok

Docker compose 需要安装的镜像 服务器磁盘需要多大的容量？ 目前60G都不够下

Docker compose 需要安装的镜像服务器磁盘需要多大的容量？目前60G都不够下