BettaFish icon indicating copy to clipboard operation
BettaFish copied to clipboard

幻觉问题严重

Open 871052165 opened this issue 1 month ago • 4 comments

搜索不准确,常常会出现脱离搜索关键词,例如输入A地区舆情 它会查询BCDE地区甚至全国舆情,又反向把查询结果接入到 A地区报告; 报告失真,模型幻觉严重。

Image Image

综合评价:玩具而已,还是非常消耗API调用量的玩具,运行一次单gemini调用就是在1-2刀美元。

871052165 avatar Nov 21 '25 02:11 871052165

同幻觉严重,检索内容会脱离原始输入的关键词。

Jun2366QAQ avatar Nov 21 '25 02:11 Jun2366QAQ

个人感觉,如果InsightEngine在本地的数据库中找不到匹配的数据,那就直接让InsightEngine生成一篇空的舆情分析报告我觉得也行(包括其他两个Agent),而不是生成一篇和关键词无关的舆情分析。 毕竟,当我搜索“武汉大学近日舆情分析”,如果没有舆情,那就生成空的舆情报告,我可以直接告诉领导,最近学校没有热点舆情信息;但如果AI生成一篇完全偏离主题的,很容易给人造成误判,我都不敢交给领导看啦~

DreamerYinYu avatar Nov 21 '25 10:11 DreamerYinYu

个人感觉,如果InsightEngine在本地的数据库中找不到匹配的数据,那就直接让InsightEngine生成一篇空的舆情分析报告我觉得也行(包括其他两个Agent),而不是生成一篇和关键词无关的舆情分析。 毕竟,当我搜索“武汉大学近日舆情分析”,如果没有舆情,那就生成空的舆情报告,我可以直接告诉领导,最近学校没有热点舆情信息;但如果AI生成一篇完全偏离主题的,很容易给人造成误判,我都不敢交给领导看啦~

最近有一个重要的分支正在合并,所以这部分目前还没有修复。已经在日程了。

DoiiarX avatar Nov 21 '25 11:11 DoiiarX

insight agent 幻觉严重, 虽然 修改 prompts/prompts.py 防幻觉提示词约束 ; agent.py 数据不足时提前返回 ,但效果一般

xxll88 avatar Nov 23 '25 12:11 xxll88