KAG icon indicating copy to clipboard operation
KAG copied to clipboard

[Bug] [Openspg-server ]0.5 的项目,恢复到的 0.6 服务中。模型无法验证通过?

Open eug3 opened this issue 11 months ago • 8 comments

Search before asking

  • [X] I had searched in the issues and found no similar issues.

Operating system information

MacOS(M1, M2...)

What happened

模型无法验证通过?

How to reproduce

Kag 0.5 的项目恢复到服务器。 文件没有办法处理,模型配置的位置,点击保存,会提示错误。 <class 'RuntimeError'>: invalid llm config: {'api_key': '******', 'stream': 'False', 'base_url': 'https://api.deepseek.com/v1', 'temperature': 0.7, 'model': 'deepseek-chat', 'type': 'maas'}, for details: Error code: 401 - {'error': {'message': 'Authentication Fails (no such user)', 'type': 'authentication_error', 'param': None, 'code': 'invalid_request_error'}}

Are you willing to submit PR?

  • [ ] Yes I am willing to submit a PR!

eug3 avatar Jan 08 '25 04:01 eug3

api_key

Currently,you can re-enter the api_key and click save button

caszkgui avatar Jan 08 '25 05:01 caszkgui

api_key

Currently,you can re-enter the api_key and click save button

通过很多方式修改 api_key,或者路径 都没有成功。 我通过如下方式解决了该问题

1、在全局设置中,添加默认向量模型。如果没有,恢复项目可能会失败。 2、在全局项目设置,设置的时候那个可能需要把 自建的 bge-m3 修改为 BAAI/bge-m3 ,不改可能会失败。 3、然后在更新项目到服务中

总结就是全局设置,需要先设置一个向量模型。 如上

eug3 avatar Jan 08 '25 05:01 eug3

api_key

Currently,you can re-enter the api_key and click buttonsave

通过很多方式修改 api_key,或者路径 都没有成功。 我通过如下方式解决了该问题

1、在全局设置中,添加默认向量模型。如果没有,恢复项目可能会失败。 2、在全局项目设置,设置的时候那个可能需要把 自建的 bge-m3 修改为 BAAI/bge-m3 ,不改可能会失败。 3、然后在更新项目到服务中

总结就是全局设置,需要先设置一个向量模型。 如上

向量模型这里可以使用xinference吗

night666e avatar Jan 08 '25 06:01 night666e

api_key

Currently,you can re-enter the api_key and click buttonsave

通过很多方式修改 api_key,或者路径 都没有成功。 我通过如下方式解决了该问题 1、在全局设置中,添加默认向量模型。如果没有,恢复项目可能会失败。 2、在全局项目设置,设置的时候那个可能需要把 自建的 bge-m3 修改为 BAAI/bge-m3 ,不改可能会失败。 3、然后在更新项目到服务中 总结就是全局设置,需要先设置一个向量模型。 如上

向量模型这里可以使用xinference吗

yes, any openai compatible service is supported.

caszkgui avatar Jan 08 '25 06:01 caszkgui

@caszkgui 我依然无法验证通过,而且我明明指定的模型是 bge-m3,为什么验证的时候,变成了 image

我明明设置的是 image

ryzn0518 avatar Jan 08 '25 10:01 ryzn0518

尝试 ollama cp bge-m3:latest BAAI/bge-m3 ,然后 在截图中得 model 处填写 BAAI/bge-m3

eug3 avatar Jan 08 '25 11:01 eug3

尝试 ollama cp bge-m3:latest BAAI/bge-m3 ,然后 在截图中得 model 处填写 BAAI/bge-m3

image 没有作用,我这个地址是xinference

night666e avatar Jan 09 '25 06:01 night666e

尝试 ollama cp bge-m3:latest BAAI/bge-m3 ,然后 在截图中得 model 处填写 BAAI/bge-m3

image 没有作用,我这个地址是xinference

You can refer to User Guide for Representation(embedding) Model to get detail info for model service accessibility

image

caszkgui avatar Jan 13 '25 02:01 caszkgui

Search before asking

  • [x] I had searched in the issues and found no similar issues.

Operating system information

MacOS(M1, M2...)

What happened

模型无法验证通过?

How to reproduce

Kag 0.5 的项目恢复到服务器。 文件没有办法处理,模型配置的位置,点击保存,会提示错误。 <class 'RuntimeError'>: invalid llm config: {'api_key': '******', 'stream': 'False', 'base_url': 'https://api.deepseek.com/v1', 'temperature': 0.7, 'model': 'deepseek-chat', 'type': 'maas'}, for details: Error code: 401 - {'error': {'message': 'Authentication Fails (no such user)', 'type': 'authentication_error', 'param': None, 'code': 'invalid_request_error'}}

Are you willing to submit PR?

  • [ ] Yes I am willing to submit a PR!

You can reset your llm conf: Image

Meanwhile, KAG released version 0.8, you can try it out in your scenarios.

caszkgui avatar Aug 16 '25 00:08 caszkgui