Qwen-Agent
Qwen-Agent copied to clipboard
FnCallAgent工具调用效果不如ReActChat
本人在实际使用过程中发现,一模一样的tools和用户提问,ReActChat的工具调用比FnCallAgent更准确些。我观察发现,除了tool_template不一样之外,FnCallAgent的tool_desc是附加在system_message后面的,而ReActChat的tool_desc是在第一条user_message中,模型似乎更听从user_message中的指令。 我想问一下
- 这两种工具调用模板你们都进行过训练吗?准确度差距吗?
- tool_desc的位置对于工具调用结果的影响。
- 都训过。
- 位置会有显著影响。可以试试限制历史对话的数量(比如截断掉历史,只保留最多两个user messages),以便看是不是对话历史多了、工具描述位置不同导致的效果差异。
- 都训过。
- 位置会有显著影响。可以试试限制历史对话的数量(比如截断掉历史,只保留最多两个user messages),以便看是不是对话历史多了、工具描述位置不同导致的效果差异。
我测试的都是单轮
确实,Assistant就是不爱调用工具,react就好
我也发现了,Assistant 两轮以上就不爱调用工具,react 到是比较喜欢调用工具,但是thought里面废话台多,还有thought里面有时候把答案描述的比较详细,但是最终的final answer里面就很简洁,能否让thought简洁一点,让final answer详细一点,主要是最终给用户展示的还是final answer,不是thought
我也发现了,Assistant 两轮以上就不爱调用工具,react 到是比较喜欢调用工具,但是thought里面废话台多,还有thought里面有时候把答案描述的比较详细,但是最终的final answer里面就很简洁,能否让thought简洁一点,让final answer详细一点,主要是最终给用户展示的还是final answer,不是thought
请问你们的react是怎么自己开发的?