Carlos yang

Results 7 comments of Carlos yang

。。。。。。 纯纯造bug,用api推理,报错说推理文件不存在。。。。。还没有文档。。。翻代码不如换工具算了

> > 。。。。。。 纯纯造bug,用api推理,报错说推理文件不存在。。。。。还没有文档。。。翻代码不如换工具算了 > > 换什么工具,有推荐的吗 用EvalScope或者根据评测集手动实现一个模型调用到评测间的转换,一般评测集起码会提供拿到结果后的评测脚本

> > 。。。。。。 纯纯造bug,用api推理,报错说推理文件不存在。。。。。还没有文档。。。翻代码不如换工具算了 > > 有啥好用的推荐吗,为用lm-eval也碰到问题了 比较合理的方案是看目标评测集的输出格式是啥样的,对齐输出格式,然后让大模型给你写一个评测脚本,也就是借助大模型纯手写一套稳定版的,他们这个只是说有这个功能,能不能用不好说

有单独使用jina搜索的效果吗?目前看是需要同时用google.serper 和jina,不知道单独用jina的性能是不是会衰减多少,太穷了,用不起google