KeywordGacha icon indicating copy to clipboard operation
KeywordGacha copied to clipboard

[Feature Request] 在提示词中增加正确提取实体的示例,以提高格式正确率以及实体识别的准确率

Open RoadToNowhereX opened this issue 10 months ago • 2 comments

这项目的管线看起来挺像RAG的,可以在提示词里面也加入GraphRAG一样的示例: https://github.com/microsoft/graphrag/blob/main/graphrag/prompts/index/entity_extraction.py

另外,有啥好用的本地LLM推荐的吗?能同时支持中日双语又足够“聪明”的开源模型可不好找。

RoadToNowhereX avatar Feb 07 '25 09:02 RoadToNowhereX

这项目的管线看起来挺像RAG的,可以在提示词里面也加入GraphRAG一样的示例: https://github.com/microsoft/graphrag/blob/main/graphrag/prompts/index/entity_extraction.py

另外,有啥好用的本地LLM推荐的吗?能同时支持中日双语又足够“聪明”的开源模型可不好找。

细分任务和流程确实可以提升最终效果 但是同时也会大幅度增加 时间 与 Token 的消耗,也对模型的能力提出了更高的要求,所以是需要权衡的 项目最近的改进方向正好相反 即在保证效果的前提下,尽可能合并任务,来减少消耗,同时保证本地小模型也能有一个尚可的效果 开发用的就是一键包里面的 Qwen2.5-7B

neavo avatar Feb 07 '25 10:02 neavo

这项目的管线看起来挺像RAG的,可以在提示词里面也加入GraphRAG一样的示例: https://github.com/microsoft/graphrag/blob/main/graphrag/prompts/index/entity_extraction.py 另外,有啥好用的本地LLM推荐的吗?能同时支持中日双语又足够“聪明”的开源模型可不好找。

细分任务和流程确实可以提升最终效果 但是同时也会大幅度增加 时间 与 Token 的消耗,也对模型的能力提出了更高的要求,所以是需要权衡的 项目最近的改进方向正好相反 即在保证效果的前提下,尽可能合并任务,来减少消耗,同时保证本地小模型也能有一个尚可的效果 开发用的就是一键包里面的 Qwen2.5-7B

开发LightRAG的团队就有专门针对小模型的MiniRAG,提示词结构大差不差,效果一言难尽

Image

RoadToNowhereX avatar Feb 07 '25 10:02 RoadToNowhereX