幻觉问题严重
搜索不准确,常常会出现脱离搜索关键词,例如输入A地区舆情 它会查询BCDE地区甚至全国舆情,又反向把查询结果接入到 A地区报告; 报告失真,模型幻觉严重。
综合评价:玩具而已,还是非常消耗API调用量的玩具,运行一次单gemini调用就是在1-2刀美元。
同幻觉严重,检索内容会脱离原始输入的关键词。
个人感觉,如果InsightEngine在本地的数据库中找不到匹配的数据,那就直接让InsightEngine生成一篇空的舆情分析报告我觉得也行(包括其他两个Agent),而不是生成一篇和关键词无关的舆情分析。 毕竟,当我搜索“武汉大学近日舆情分析”,如果没有舆情,那就生成空的舆情报告,我可以直接告诉领导,最近学校没有热点舆情信息;但如果AI生成一篇完全偏离主题的,很容易给人造成误判,我都不敢交给领导看啦~
个人感觉,如果InsightEngine在本地的数据库中找不到匹配的数据,那就直接让InsightEngine生成一篇空的舆情分析报告我觉得也行(包括其他两个Agent),而不是生成一篇和关键词无关的舆情分析。 毕竟,当我搜索“武汉大学近日舆情分析”,如果没有舆情,那就生成空的舆情报告,我可以直接告诉领导,最近学校没有热点舆情信息;但如果AI生成一篇完全偏离主题的,很容易给人造成误判,我都不敢交给领导看啦~
最近有一个重要的分支正在合并,所以这部分目前还没有修复。已经在日程了。
insight agent 幻觉严重, 虽然 修改 prompts/prompts.py 防幻觉提示词约束 ; agent.py 数据不足时提前返回 ,但效果一般