Langchain-Chatchat icon indicating copy to clipboard operation
Langchain-Chatchat copied to clipboard

0.3.1 Agent多轮问答有时候能成功有时候不成功,非常奇怪

Open joveth1 opened this issue 5 months ago • 1 comments

问题描述 / Problem Description 目前用的是0.3.1版本 llm: qwen-max platform: one-api

qwen的agent prompt用的是structured-chat-agent,用qwen这个prompt更奇怪,工具甚至都没调用就直接给出答案了。测试可以试试天气查询的这个工具,工具都没有调用能直接返回查询结果,最后换了structured-chat-agent。

自己做了两个工具,当确认的时候,直接回答是,模型直接回答让我准确描述问题,有时候会调用其他另一个查询工具

比如,下面直接调用了查询(后台日志我看了,只调用了查询) image

有的甚至自己篡改了原问题,比如下面的问题

image

这两个工具我在0.2.10 版本中测试过,效果还是可以的,模型都是qwen-max。

复现问题的步骤 / Steps to Reproduce

  1. 执行 '...' / Run '...'
  2. 点击 '...' / Click '...'
  3. 滚动到 '...' / Scroll to '...'
  4. 问题出现 / Problem occurs

预期的结果 / Expected Result 描述应该出现的结果 / Describe the expected result.

实际结果 / Actual Result 描述实际发生的结果 / Describe the actual result.

环境信息 / Environment Information

  • Langchain-Chatchat 版本 / commit 号:(例如:0.3.1 或 commit 123456) / Langchain-Chatchat version / commit number: (e.g., 0.3.1 or commit 123456)
  • 部署方式(pypi 安装 / 源码部署 / docker 部署):pypi 安装 / Deployment method (pypi installation / dev deployment / docker deployment): pypi installation
  • 使用的模型推理框架(Xinference / Ollama / OpenAI API 等):Xinference / Model serve method(Xinference / Ollama / OpenAI API, etc.): Xinference
  • 使用的 LLM 模型(GLM-4-9B / Qwen2-7B-Instruct 等):GLM-4-9B / LLM used (GLM-4-9B / Qwen2-7B-Instruct, etc.): GLM-4-9B
  • 使用的 Embedding 模型(bge-large-zh-v1.5 / m3e-base 等):bge-large-zh-v1.5 / Embedding model used (bge-large-zh-v1.5 / m3e-base, etc.): bge-large-zh-v1.5
  • 使用的向量库类型 (faiss / milvus / pg_vector 等): faiss / Vector library used (faiss, milvus, pg_vector, etc.): faiss
  • 操作系统及版本 / Operating system and version: MacOS
  • Python 版本 / Python version: 3.8
  • 推理使用的硬件(GPU / CPU / MPS / NPU 等) / Inference hardware (GPU / CPU / MPS / NPU, etc.): GPU
  • 其他相关环境信息 / Other relevant environment information:

附加信息 / Additional Information 添加与问题相关的任何其他信息 / Add any other information related to the issue.

joveth1 avatar Sep 11 '24 03:09 joveth1