data-juicer
data-juicer copied to clipboard
executor_type为ray的模式下,open_tracer不生效,关于filter,deduplicator的算子留存率是否只支持default模式,ray模式下目前没有有效的解决方案?
Before Asking 在提问之前
-
[x] I have read the README carefully. 我已经仔细阅读了 README 上的操作指引。
-
[x] I have pulled the latest code of main branch to run again and the problem still existed. 我已经拉取了主分支上最新的代码,重新运行之后,问题仍不能解决。
Search before asking 先搜索,再提问
- [x] I have searched the Data-Juicer issues and found no similar questions. 我已经在 issue列表 中搜索但是没有发现类似的问题。
Question
使用yml: open_tracer: true trace_num: 10 op_list_to_trace: [] # 追踪所有 OP
保留统计信息以便分析
keep_stats_in_res_ds: true 相关参数在default模式下会输出一个xxx_stats.jsonl的统计文件,但是在ray模式下参数不生效,是否当前ray模式不支持统计,如果我想搜集filter及deduplicator的算子处理数据后的留存率等信息是否只支持default模式? ray模式下data-juicer是否有效的解决方案?
Additional 额外信息
No response