LaoK263

我的ollama实例启动log显示base url没有/v1/,我用以下命令启动browserqwen还是报404错误： python3 run_server.py --llm qwen2/Qwen2-beta-4B-Chat --model_server http://127.0.0.1:11434/v1/api ollama端的日志： llama_new_context_with_model: graph splits (measure): 1 time=2024-03-04T11:34:04.291+08:00 level=INFO source=dyn_ext_server.go:161 msg="Starting llama main loop" [GIN] 2024/03/04 - 11:34:04 | 200 | 4.3672342s |...

用 --model_server http://127.0.0.1:11434/v1 参数还是同样的404错误，启动命令为： python3 run_server.py --llm qwen2/Qwen2-beta-4B-Chat --model_server http://127.0.0.1:11434/v1 在ollama server端看到的错误： llama_new_context_with_model: graph splits (measure): 1 time=2024-03-06T15:13:57.787+08:00 level=INFO source=dyn_ext_server.go:161 msg="Starting llama main loop" [GIN] 2024/03/06 - 15:13:57 | 200...

我这里还是跑不通，qwen模型是可以在ollama启动，并且正常使用的，如下是qwen模型启动后的对话：  在运行ollama run qwen时，在ollama server端看到的启动信息如下：  结合ollama server端的404报错，是不是browserqwen只要遇到了http 404错误，标准的错误输出都是moduel没有找到？我试着把--llm参数设置为qwen2, qwen2:4B等各种值，都是同样的404错误，说模块没有找到： ValueError: Error code: 404 - {'error': {'message': "model 'qwen2:4B' not found, try pulling it first", 'type': 'api_error', 'param': None,...

> 我是先分别执行了： > > ``` > ollama serve > ``` > > ``` > ollama run qwen:0.5b > # 然后 /bye 退出 > ``` > > ``` > python run_server.py...

是不是说qwen必须运行在兼容OpenAI API的模式下才行？

> zhipu的应该是没支持，其他轻量化服务不是我写的，我不太清楚 看代码智谱的embedding还没有支持，但是wiki却说是支持的，建议更新wiki文档，我在这个事情上花了3天时间，才搞清楚。 下图代码在/server/model_workers/zhipu.py中，我理解这是初始化智谱模型的代码： 

我使用智谱的在线API，本地没有大模型，也遇到了相同的错误，每次出现该错误时，chat都没有返回，应该是对超时未返回或者返回异常的处理问题，一般情况下重试就行了。