lihongyu
lihongyu
### 一、应用场景 哗啦啦数据中台项目旨在为餐饮行业提供一站式的数据处理平台。满足数据接入、数据清洗、数据加工、质量校验、数据服务、数据输出的数据应用开发全流程场景需求。 数据中台整体架构如下:  其中Qualitis应用于数据质量系统提供规则引擎。linkis为数据质量以及开发系统调试功能提供计算引擎支持 ### 二、解决的问题 1、jdbc引擎如执行运行小时级的hive sql时。元数据库中的任务状态不更新问题 2、jdbc引擎打通数据源管理系统，支持数据源配置 3、打通中台项目统一认证服务 4、支持参数解析（包括时间变量） 5、Qualitis增加告警以及定时调度功能 ### 三：DSS在哗啦啦的最佳实践 #### 1、开发平台系统 开发系统集成了大数据主流工具，通过拖拉拽dag生成数据处理流程，集代码开发、代码审核、任务监控告警、工作流版本、权限控制等功能。能满足用户大部分数据处理场景，开箱即用，简化用户开发流程，降低技术门槛。 在最初，用户写完脚本后，验证脚本正确性需通过提交代码审核之后真正执行任务，或者用第三方开发工具验证如zeppelin。用户反愦验证流程很不便利。在引入Linkis以及DSS后，开发平台基于DSS的前端做了二开，使用了他的脚本运行功能，提交任务到Linkis，并推送任务进度以及运行日志到浏览器，简化了用户的验证流程，优化了用户交互。完善了开发系统之前缺少的调试功能。  开发系统部分界面展示     #### 2、数据质量系统 在开发系统上经过的 接入、清洗、加工、输出...