cccatcxy
cccatcxy
为什么模型有时候能按照要求输出 JSON回应,有时候不能输出JSON?这个不稳定的现象应该怎么解决?
> 输出格式约束,目前主要依靠模型的基础能力。 也有一些微调方法可以提升相关能力, 在text2SQL这个场景,后续我们在架构层面会引入多模型+场景的协同编排,这样在写SQL的场景就可以只输出SQL语句。 当然也可以关注Text2API与Text2DSL等微调方向的发展。 DBgpt代码中在该场景的prompt里已经约束了模型相应的输出格式为JSON,但是模型还是不能百分百按照约束格式输出,是否可以使用P-Tuning 进行微调模型,提高模型输出格式的正确率?
> 这里的版本差异是指与v0.4.3版本对比吗? 是的,我拉取的最新的代码。使用了同一个大模型。 这个是之前版本的prompt,版本不记得了,看文件的日期是11.20拉取的:  这个是最新的prompt: 