FastGPT icon indicating copy to clipboard operation
FastGPT copied to clipboard

建议增加<think>渲染处理

Open goactiongo opened this issue 10 months ago • 3 comments

关于COT的问题,之前发起过讨论也提交过issue #2680 ,如果让模型输出思考过程,然后回复答案的效果要好很多。 在我的很多个场景下,为了确保模型的回复效果,我只能通过提示词要求模型先输出思考过程,然后回复答案。

建议趁此机会,增加对《think></thnks》标签的渲染处理。 这样,任何模型都可以通过提示词的方式要求模型在《think>中输出思考过程通过COT来回复问题。

goactiongo avatar Feb 14 '25 11:02 goactiongo

这个思路不错

c121914yu avatar Feb 14 '25 14:02 c121914yu

这个功能其实很实用,能确保模型回复的效果以及问题追溯。 我简单的改了下源码,效果如下,请高手具体优化下代码

Image

Image

goactiongo avatar Feb 14 '25 15:02 goactiongo

是个好的建议,但是应该排除直接出现在api的content中和供三方对接的api中,输出应该像ds一样使用单独的思维字段,不然会污染上下文。

zaite avatar Feb 16 '25 07:02 zaite