alldata
alldata copied to clipboard
alldatacenter
数据治理RoadMap设计与规划
数据平台的数据治理：数据治理是一个大而全的治理体系。需要数据质量管理、元数据管理、主数据管理、模型管理管理、数据价值管理、 数据共享管理和数据安全管理等等模块是一个活的有机体。
1、数据质量: 依托Griffin平台，为您提供全链路的数据质量方案，包括数据探查、对比、质量监控、SQL扫描和智能报警等功能：
开源方案： Apache Griffin + ES + SparkSql
2、元数据: 描述数据的数据，对数据及信息资源的描述性信息，例如字段元数据描述字段的类型、长度、默认值。 发布：指将某一元数据发布为数据资产的动作。数据资产是指可以对外提供服务并且产生价值的数据。 表/字段血缘：即表/字段的来龙去脉，主要包含表/字段的来源、加工方式、映射关系及数据出口。血缘是元数据的一部分， 有利于数据变更影响分析以及数据问题排查。
开源方案： Apache Atlas + ES + Hbase + JanusGraph + Hive + Kafka
3、数据标准: 参考阿里的DataWorks，数据标准是用于描述公司层面需共同遵守的数据含义和业务规则， 它描述了公司层面对某个数据的共同理解，这些理解一旦确定下来，就应作为企业层面的标准在企业内被共同遵守。 数据标准，也称数据元，由一组属性规定其定义、标识、表示和允许值的数据单元，是不可再分的最小数据单元。 您可以将数据标准关联到各个业务上的数据库中。 其中，标识符、数据类型、表示格式、值域是数据交换的基础，它们用于描述表的字段元信息，规范字段所存储的数据信息。
暂无事实性标准的开源方案：Mysql + SpringBoot
4、数据服务：参考阿里的DataWorks, 数据服务旨在为企业搭建统一的数据服务总线，帮助企业统一管理对内对外的API服务。 数据服务为您提供快速将数据表生成API的能力，同时支持您快速注册现有的API至数据服务平台，进行统一的管理和发布。 数据服务已经与API网关（API Gateway）连通，支持一键发布API服务至API网关。 数据服务与API网关为您提供了安全稳定、低成本、易上手的数据开放共享服务。 数据服务采用Serverless架构，您只需要关注API本身的查询逻辑，无需关心运行环境等基础设施， 数据服务会为您准备好计算资源，并支持弹性扩展，零运维成本。
开源方案：Apache Kong + Mysql + Lua + Postgresql + ES
