未来是否有计划支持对 embedding/reranker 模型性能/指标的评估

Open shell-nlp opened this issue 1 year ago • 1 comments

Aug 16 '24 01:08 shell-nlp

有~ RAG相关的评估链路预计在最近两个迭代内会支持，估计会分步进行，一个是增加评价指标和方法单独对embedding、reranker等进行评估，另一个是结合modelscope swift进行训练后评估。

Aug 19 '24 03:08 wangxingjun778

现在已经支持embedding/reranker模型评估，也支持RAG端到端的评估，请参考：https://evalscope.readthedocs.io/zh-cn/latest/user_guides/backend/rageval_backend/index.html#

Oct 29 '24 09:10 Yunnglin

未来是否有计划支持对 embedding/reranker 模型 性能/指标 的评估