WeKnora
WeKnora copied to clipboard
[Feature]: 提供调试功能 - 打开调试后回答中显示被召回的 entity/relationship/search
相关组件
前端界面
问题描述
进行问答的时候,不知道搜索招回了哪些原文片段、各自给了多少的相关分;这就都是不利于评估检索质量、发现问题,并基于这些发现来进一步优化(e.g. 调整各种参数;优化 knowledge graph 里的 entity/relationship 定义)
建议的解决方案
希望在设置页有一个“调试”toggle, 打开之后 ,在问答的过程中,web app 不只是给到结果,而是了显示重要的中间过程 -- 向量匹配匹配到了哪些 text chunk; knowledge graph 检索找到了哪些关键的 entity/relationship、它们所携带的信各源头文档 /text chunk; 搜索方法 ,用了哪些关键词做搜索,返回了哪些 text chunk...然后显示额外的信息 (比如匹配分数)
这样可以对检索过程 做更多的评估与问题发现
(我用了 claude cli 尝试实现了一下,但感需要的改动很多需要不少上下文,claude 实现得并不好,有很多 bug)
替代方案
No response
优先级
高 - 对工作流程很重要
使用场景
想评估知识提取是否有效(召回是否好 -- 尤其是那些重要的原文档),以及评估如何优化(e.g. 优化知识图谱的节点/关系 schema 设计)
补充信息
No response
确认事项
- [x] 我已经搜索了现有的 issues,确认这是一个新的功能请求
- [x] 我理解这个功能请求可能需要讨论和评估