cccatcxy

Results 3 comments of cccatcxy

为什么模型有时候能按照要求输出 JSON回应,有时候不能输出JSON?这个不稳定的现象应该怎么解决?

> 输出格式约束,目前主要依靠模型的基础能力。 也有一些微调方法可以提升相关能力, 在text2SQL这个场景,后续我们在架构层面会引入多模型+场景的协同编排,这样在写SQL的场景就可以只输出SQL语句。 当然也可以关注Text2API与Text2DSL等微调方向的发展。 DBgpt代码中在该场景的prompt里已经约束了模型相应的输出格式为JSON,但是模型还是不能百分百按照约束格式输出,是否可以使用P-Tuning 进行微调模型,提高模型输出格式的正确率?

> 这里的版本差异是指与v0.4.3版本对比吗? 是的,我拉取的最新的代码。使用了同一个大模型。 这个是之前版本的prompt,版本不记得了,看文件的日期是11.20拉取的: ![图片](https://github.com/eosphoros-ai/DB-GPT/assets/73995017/e8b5b32a-f5fb-43ca-b110-f957286dabc3) 这个是最新的prompt: ![图片](https://github.com/eosphoros-ai/DB-GPT/assets/73995017/edb952be-72ca-4508-81b8-904f4c46c18f)