ELK-milu
ELK-milu
目前pr提了一些代码。本人水平有限,然后平时也比较忙,大家多多见谅。 我在使用milvus的时候发现了一些问题,针对milvus添加了很多修改,我想提出几条建议: 1. 知识库数据越来越多后,chunk检索准确性明显下降了。单纯根据query_text来匹配chunk的方式已经无法满足需求。因此我为metadata添加了以下字段: ```python file_path: Optional[str] = Field(None, description="文件路径,现已更换为minio的文件链接") category: Optional[str] = Field(None, description="分类(例如:售后文档)") tags: Optional[List[str]] = Field(None, description="标签列表(例如:['售后文档','某个产品型号', '故障排查'])") custom_metadata: Optional[dict] = Field(None, description="自定义元数据(JSON对象)") ``` 因为我们的文档库有做知识治理,所以为每个文档按照的档案库内的文件路径进行分类和标签是比较适合的。这样在检索的时候,让模型优先通过category ,tags ,query_text的任意组合进行高颗粒度的检索。能够更快的定位到目标chunk。在custom_metadata中也可以通过ai总结,或者用户自定义的方式来添加更多的信息;或者可以直接存储类对象,为工具调用提供可能。...