能否在SDK中增加EmbeddingModels和Rerankers相关接口，同时做好归一化，目前看只有PY的sdk存在。

[dbc-2024]

如果有计划加入，麻烦告知一下大概的计划

[yhmo]

都加上去的话太重了，不好维护，得累死。

[xiaofan-luan]

3.0我们会增加服务端推理的能力。目前暂时没有计划在客户端增加这部分逻辑

[dbc-2024]

都加上去的话太重了，不好维护，得累死。

RESTFUL里面加上可行？毕竟RAG应用，必须架设向量/重排服务，如果向量数据库里面自带方便非PY的开发人员。

[xiaofan-luan]

restful 应该没法加这个，没地方做模型servering 要么客户端做，要么需要再milvus内部做

[dbc-2024]

pySDK里面的向量，本质是客户端本地做的？

[xiaofan-luan]

目前是的，服务端推理的能力要到3.0才提供

[hcnhcn012]

没必要，不然容易被Embedding版本更新带着走，增加维护难度，我理解milvus既然是做向量库就集中做向量库，别像Langchain那样；我自己是这么干的，写一个springboot服务专门用来管向量库，另外再起一个fastapi服务专门去调那些embedding官方的接口，词嵌入做完了再给到springboot服务

[dbc-2024]

没必要，不然容易被Embedding版本更新带着走，增加维护难度，我理解milvus既然是做向量库就集中做向量库，别像Langchain那样；我自己是这么干的，写一个springboot服务专门用来管向量库，另外再起一个fastapi服务专门去调那些embedding官方的接口，词嵌入做完了再给到springboot服务

目前我们也是。只是fastapi这块挂不同模型不太想维护。哈哈

[xiaofan-luan]

我们会在3.0提供对接推理服务的能力（但是Milvus不会自己做），用类似

OpenAIEmbeddingFunc， TritonEmbeddingFunc这样的能力对接不同的模型和推理服务