Always

- 项目名称：nndeploy - 项目地址：https://github.com/Alwaysssssss/nndeploy - 项目简介：nndeploy是一款最新上线的支持多平台、简单易用、高性能的机器学习部署框架，一套实现可在多端(云、边、端)完成模型的高性能部署。 - 项目截图 

- 项目名称：nndeploy - 项目地址：https://github.com/Alwaysssssss/nndeploy - 项目简介：nndeploy是一款最新上线的支持多平台、简单易用、高性能的机器学习部署框架，一套实现可在多端(云、边、端)完成模型的高性能部署。 - 项目截图 

[nndeploy下一步计划] 扩展该推理子模块支持大语言模型

3

目前已有一个单机推理模块呀，目前是服务cnn为主，支持llm推理，第一期计划支持单机的CPU的QWEN推理 **2025/6/15更新** 实现步骤： - [ ] 手动构图：在Python端，支持Module嵌套；支持safetensors读取、管理、构图 - [ ] kv cache：参照mnn实现kv cache管理 [MNN/source/backend/cpu/KVCacheManager.cpp at dcb8cc7cf595ef17acaa855aa5a65a53052c819b · alibaba/MNN](https://github.com/alibaba/MNN/blob/dcb8cc7cf595ef17acaa855aa5a65a53052c819b/source/backend/cpu/KVCacheManager.cpp) - [ ] 算子：使用oneDNN构造大算子 or 手写 如果你对这个部分的开发感兴趣，欢迎来找我们。

参考文档：https://github.com/nndeploy/nndeploy/blob/main/docs/zh_cn/quick_start/plugin.md

在开发者模式下，默认的config.cmake没有任何三方推理后端也没有打开OpenCV

1

背景：在开发者模式下，默认的config.cmake没有任何三方推理后端 结果：使用该config.cmake，进入工作流界面，目前模板的工作流通常依赖三方推理框架ONNXRuntime，导致模板工作流无法正常运行。 # 对开发者模式下的用户建议 - 建议一：打开ONNXRuntime，按需打开你想使用的推理后端 - 建议二：如果你想使用默认提供的关于cv类的工作流，打开OpenCV - 建议三：如果你想使用stable diffusion和llm相关工作流，打开tokenizer-cpp 具体如何打开，可详细阅读[编译文档](https://github.com/nndeploy/nndeploy/blob/main/docs/zh_cn/quick_start/build.md)

现象：Linux的python发布包，OpenCvVideoDecode(视频编解码节点)无法使用 这属于目前发布包的缺陷，下一个版本会解决该问题