ragflow icon indicating copy to clipboard operation
ragflow copied to clipboard

[Question]: Raise error when using qwen2.5-vl

Open Astlight opened this issue 11 months ago • 2 comments

Describe your problem

我预设的用法是,在聊天里用户[回形针]上传图片,然后模型调用qwen2.5-vl去作图像识别,根据图像识别内容去知识库扫描后回答问题。

遇到的问题:

  1. 因为是本地部署, 回形针上传的文件后生成的文件地址都是局域网的, 三方接口直接识别并报错(ERROR: url error, please check url!)。 这个有变通或者微调源码解决的方法吗?
  2. 我尝试去agent里找有没有使用多参数,将【图】、【文】分离后再去以节点流请求调用的方式(我的确可以自己定义变量, 生成对话的节点里,怎么作这种文件传参配置?),但是没有找到相关的用法。(能不能指点以下哪个例子有类型的用法, 我自己看)
  3. 我尝试用Api的方式,调用时直接用手工传参图片url线上地址并请求会话, 但是文档里好像没有/api/v1/chats/{chat_id}/completions接口也没有附件传参相关描述。

Astlight avatar Feb 18 '25 09:02 Astlight

We intend to create an international community, so we encourage using English for communication.

JinHai-CN avatar Feb 18 '25 15:02 JinHai-CN

  1. If it's deployed without SAAS invokation, you need to deploy a multimodual LLM locally. RAGFlow can invoke them by OpenAI compatible API/Ollama/Xinference.
  2. Check out the template 'Research report generator'.
  3. Not supported yet.

KevinHuSh avatar Feb 19 '25 04:02 KevinHuSh