aiges
aiges copied to clipboard
roadmap: about dev environment and infer environment
当研发一个新能力并对外发布一个新能力的时候,分别对应两阶段环境部署过程。 开发阶段: 往往需要setup一些框架以及框架周边工具,以及开发者自己定义的工具类, 等训练出模型; 推理阶段: 使用模型或者封装了模型的engine进行推理,模型根据不同的框架也存在不同的格式,但是业界也在逐步向onnx模型范式演进。这一阶段的环境依赖往往比较纯粹, 至少比开发阶段要少很多依赖。
问题以及痛点: 算法开发者当前同时也会推理服务开发,对大多数开发者,他们很难意识到2个环境的差异,因此往往在infer阶段共享使用了dev环境的依赖,造成infer阶段依赖特别冗余。再者由于python环境的不一致,pip freeze生成的一些依赖列表,往往无法自动化完成在新环境完成原环境的最小复现。
对此,我们再构建基础镜像时,也考虑了一些方案但是都并不完美,在发现 https://github.com/gaocegege 发起的 envd后,我们似乎发现有了同一目标项目,因此,我们计划后续在envd项目中来完善并解决这个问题