oneapi配置在线大模型，但是无法实现本地embedding模型初始化

[1490113799]

0.3版本可以支持配置在线模型吗，现在看虽然可以用oneapi配置在线大模型，但是无法实现在线embedding模型的加载，同时0.3版本也移除了0.2版本的本地化embedding模型功能，期望能出一下解决方案

[SuMiaoALi]

使用xinference，ollama等模型框架加载embedding和reranker等，然后通过oneapi代理过去

[1490113799]

谢谢

[Woodude97]

使用xinference，ollama等模型框架加载embedding和reranker等，然后通过oneapi代理过去

请问是在Oneapi的代理中写xinference的网址吗

[imClumsyPanda]

使用xinference，ollama等模型框架加载embedding和reranker等，然后通过oneapi代理过去

不需要啊 xinference和ollama提供api就行了，不需要再经过oneapi

[imClumsyPanda]

0.3版本可以支持配置在线模型吗，现在看虽然可以用oneapi配置在线大模型，但是无法实现在线embedding模型的加载，同时0.3版本也移除了0.2版本的本地化embedding模型功能，期望能出一下解决方案

OneAPI主要用于接入非openai api接口形式的在线api，比如百川、千问。

xinference/ollama用来加载本地模型

openai api形式接口可以直接接入，比如智谱

[Woodude97]

0.3版本可以支持配置在线模型吗，现在看虽然可以用oneapi配置在线大模型，但是无法实现在线embedding模型的加载，同时0.3版本也移除了0.2版本的本地化embedding模型功能，期望能出一下解决方案

OneAPI主要用于接入非openai api接口形式的在线api，比如百川、千问。

xinference/ollama用来加载本地模型

openai api形式接口可以直接接入，比如智谱

可以再问您一下这个在哪个文件里面改吗 谢谢！

[SuMiaoALi]

其实最好的方式是，由oneapi提供统一的模型代理，至于背后是ollama还是xinference等其他模型加载框架，这个我们并不在意。这样利于部署。但目前版本的oneapi，stable版本号v0.6.8，支持自定义渠道配置，可以代理embedding，代理服务器地址那里填xinference的地址就好例如：http://127.0.0.1:9997/v1 。但reranker代理目前并不支持，因为这不是OpenAI的标准。可以通过alpha版本号v0.6.9-alpha的Proxy渠道设置，相当于nginx的location alias功能，但测试reranker还是不可用，而且有bug

所以建议的方式是：由one-api来提供在线模型api代理，例如OpenAI，千问，Kimi等。由模型加载框架来提供本地模型接入，例如glm，embedding，reranker。配置方式我发一份，仅供参考。

MODEL_PLATFORMS:

• platform_name: xinference platform_type: xinference api_base_url: http://127.0.0.1:9997/v1 api_key: EMPTY api_proxy: '' api_concurrencies: 5 auto_detect_model: true llm_models: [] embed_models:
  • bge-large-zh-v1.5 text2image_models: [] image2text_models: [] rerank_models:
  • bge-reranker-large speech2text_models: [] text2speech_models: []
• platform_name: oneapi platform_type: oneapi api_base_url: http://127.0.0.1:3000/v1 api_key: sk-******************************** api_proxy: '' api_concurrencies: 5 auto_detect_model: false llm_models:
  • gpt-4o
  • moonshot-v1-8k embed_models: [] text2image_models: [] image2text_models: [] rerank_models: [] speech2text_models: [] text2speech_models: []

[github-actions[bot]]

这个问题已经被标记为 stale ，因为它已经超过 30 天没有任何活动。

[github-actions[bot]]

这个问题已经被自动关闭，因为它被标为 stale 后超过 14 天没有任何活动。

[2069348297]

其实最好的方式是，由oneapi提供统一的模型代理，至于背后是ollama还是xinference等其他模型加载框架，这个我们并不在意。这样利于部署。但目前版本的oneapi，stable版本号v0.6.8，支持自定义渠道配置，可以代理embedding，代理服务器地址那里填xinference的地址就好例如：http://127.0.0.1:9997/v1 。但reranker代理目前并不支持，因为这不是OpenAI的标准。可以通过alpha版本号v0.6.9-alpha的Proxy渠道设置，相当于nginx的location alias功能，但测试reranker还是不可用，而且有bug

所以建议的方式是：由one-api来提供在线模型api代理，例如OpenAI，千问，Kimi等。由模型加载框架来提供本地模型接入，例如glm，embedding，reranker。配置方式我发一份，仅供参考。

MODEL_PLATFORMS:

• platform_name: xinference platform_type: xinference api_base_url: http://127.0.0.1:9997/v1 api_key: EMPTY api_proxy: '' api_concurrencies: 5 auto_detect_model: true llm_models: [] embed_models:

  • bge-large-zh-v1.5 text2image_models: [] image2text_models: [] rerank_models:
  • bge-reranker-large speech2text_models: [] text2speech_models: []

• platform_name: oneapi platform_type: oneapi api_base_url: http://127.0.0.1:3000/v1 api_key: sk-******************************** api_proxy: '' api_concurrencies: 5 auto_detect_model: false llm_models:

  • gpt-4o
  • moonshot-v1-8k embed_models: [] text2image_models: [] image2text_models: [] rerank_models: [] speech2text_models: [] text2speech_models: []

佬这个程序会自动选择调用本地的嵌入模型和oneapi上的LLM接口 吗 我刚刚试了一下发现 嵌入模型还是调用的oneapi上的模型接口