本地大模型、向量模型的支持

[RyanOvO]

Initial Checks

• [X] I have searched Google & GitHub for similar requests and couldn't find anything
• [X] I have read and followed the docs & demos and still think this feature is missing

Description

能理解官方希望相关的基础设施是对接线上的魔塔；但很多时候受限于环境和要求，只能用本地部署运行的模型（AI，向量等），甚至服务器环境都是没有网络只能手动传模型文件部署开发。

希望官方能支持OpenAI规范对接的向量，模型等接口接入。

Use case

No response