TitanDataOperationSystem

概览

《Titan数据运营系统》，本项目所适用的行业或业务背景有：主营业务在线上(app/网站)进行的公司！这类公司，都需要针对用户的线上访问行为、消费行为、业务操作行为进行统计分析，数据挖掘！以支撑公司的业务运营、精准画像营销、个性化推荐等，来提高业务转化率，改善公司运营效果！这些需求，都需要通过构建一个综合数据处理系统来支撑！

本项目是一个全栈闭环系统，我们先用flume-kafaka-flume对埋点日志服务器中日志进行读取，然后将日志放到我们的hdfs，然后在hive设计数仓，编写spark代码进行数仓表之间的转化以及ads层表到mysql的迁移，之后使用azkaban进行定时任务的调度，最后我们将mysql存的报表数据以web的形式展现出来。使用技术：Java/Scala语言，Hadoop、Spark、Hive、Kafka、Flume、Azkaban、SpringBoot，Bootstrap， Echart等。

项目的web展示：http://www.superhao.top:12121/src/material/installation.html 启动很慢，而且因为数据的原因会报错，建议到本文档底部去看web界面的展示

请注意：1. 我们所拥有的数据从2020.5.25-2020.7.20，但是我们网页一进去他默认日期会选择今天前七天的日期---今天的日期（比如8.01-8.08），所以一定会报错，请手动选择日期在5.25-7.20之间

2. 我们的网站部署到阿里云的学生机，所以会很慢，请耐心等待，谢谢

博客地址：https://blog.csdn.net/dreamingzihao/category_11293317.html

功能模块划分

在这里插入图片描述

系统架构设计

在这里插入图片描述

系统业务流程

在这里插入图片描述

数仓分层设计和spark定时任务

在这里插入图片描述

spark任务之间的依赖关系

在这里插入图片描述

azkaban定时任务调度

在这里插入图片描述

web界面展示

一、概况模块

整体趋势页面

在这里插入图片描述

二、用户分析模块

新增用户页面

在这里插入图片描述

活跃用户页面

在这里插入图片描述

启动次数页面

在这里插入图片描述

版本分布页面

在这里插入图片描述

三、留存分析模块

留存用户页面

在这里插入图片描述

用户新鲜度页面

在这里插入图片描述

用户活跃度页面

在这里插入图片描述

四、渠道分析模块

渠道列表页面

在这里插入图片描述

五、用户参与度模块

使用时长页面

在这里插入图片描述

使用频率页面

在这里插入图片描述

访问页面

在这里插入图片描述

访问间隔

在这里插入图片描述

六、终端属性模块

设备终端页面

在这里插入图片描述

网络页面

在这里插入图片描述

地域页面

在这里插入图片描述

TitanDataOperationSystem
TitanDataOperationSystem copied to clipboard

Metadata

TitanDataOperationSystem

概览

功能模块划分

系统架构设计

系统业务流程

数仓分层设计和spark定时任务

spark任务之间的依赖关系

azkaban定时任务调度

web界面展示