Qwen-Agent icon indicating copy to clipboard operation
Qwen-Agent copied to clipboard

FnCallAgent工具调用效果不如ReActChat

Open rufeng-h opened this issue 9 months ago • 5 comments

本人在实际使用过程中发现,一模一样的tools和用户提问,ReActChat的工具调用比FnCallAgent更准确些。我观察发现,除了tool_template不一样之外,FnCallAgent的tool_desc是附加在system_message后面的,而ReActChat的tool_desc是在第一条user_message中,模型似乎更听从user_message中的指令。 我想问一下

  1. 这两种工具调用模板你们都进行过训练吗?准确度差距吗?
  2. tool_desc的位置对于工具调用结果的影响。

rufeng-h avatar May 06 '24 02:05 rufeng-h

  1. 都训过。
  2. 位置会有显著影响。可以试试限制历史对话的数量(比如截断掉历史,只保留最多两个user messages),以便看是不是对话历史多了、工具描述位置不同导致的效果差异。

JianxinMa avatar May 06 '24 02:05 JianxinMa

  1. 都训过。
  2. 位置会有显著影响。可以试试限制历史对话的数量(比如截断掉历史,只保留最多两个user messages),以便看是不是对话历史多了、工具描述位置不同导致的效果差异。

我测试的都是单轮

rufeng-h avatar May 06 '24 07:05 rufeng-h

确实,Assistant就是不爱调用工具,react就好

EvilCalf avatar May 08 '24 08:05 EvilCalf

我也发现了,Assistant 两轮以上就不爱调用工具,react 到是比较喜欢调用工具,但是thought里面废话台多,还有thought里面有时候把答案描述的比较详细,但是最终的final answer里面就很简洁,能否让thought简洁一点,让final answer详细一点,主要是最终给用户展示的还是final answer,不是thought

wangjiezju1988 avatar May 10 '24 08:05 wangjiezju1988

我也发现了,Assistant 两轮以上就不爱调用工具,react 到是比较喜欢调用工具,但是thought里面废话台多,还有thought里面有时候把答案描述的比较详细,但是最终的final answer里面就很简洁,能否让thought简洁一点,让final answer详细一点,主要是最终给用户展示的还是final answer,不是thought

请问你们的react是怎么自己开发的?

Hzzhang-nlp avatar May 17 '24 02:05 Hzzhang-nlp