data-juicer icon indicating copy to clipboard operation
data-juicer copied to clipboard

支持RangeSpecifiedFieldSelector使用指定字段的值域进行数据选择

Open 2108038773 opened this issue 1 year ago • 1 comments

目前的RangeSpecifiedFieldSelector类只支持通过百分位数和rank进行select,这并不符合直觉,最简单且最常用的方法应该是根据某个字段的值域进行选择,比如相似度大于某个阈值,PPL小于某个阈值等,本次PR支持这一功能。 此外,原来的process函数在逻辑判断时存在一定的问题(不支持某些情况下的缺省),lower_percentile和lower_rank不能同时为None,upper_percentile和upper_rank也不能同时为None,否则就不会进行select,这不适用于只有上界或者只有下界的情况,本次PR针对这一逻辑进行了优化。

2108038773 avatar Sep 21 '24 10:09 2108038773

请参考单测日志对照失败样例尝试修复代码或者更新单测样例 link

HYLcool avatar Sep 27 '24 03:09 HYLcool