qinglin
Results
2
comments of
qinglin
1、清洗任务事中做dqc校验，不通过则任务状态为失败，防止后续加工任务也数据不一致； 2、写个python脚本解析sql，或者解析日志，来完成表级别的血缘关系网；字段级别的解析比较难实现； 3、元数据管理工具啊，市面上好多的，没有满意的自己设计
按服务器收到时间分区，按数据生成时间这个维度来进行统计，不冲突；就是如果不是每天统计全量的话，历史统计得重新计算。