dpkb
dpkb copied to clipboard
Published
20 hours ago •
huangfox
huangfox
大数据相关内容汇总，包括分布式存储引擎、分布式计算引擎、数仓建设等。关键词：Hadoop、HBase、ES、Kudu、Hive、Presto、Spark、Flink、Kylin、ClickHouse
DPKB
大数据相关文章汇总（知识库） 持续更新中（2022-08）
一、开源组件
Hadoop
1）官网、社区、博客
Hive
1）官网、社区、博客
2）专栏
- Hive 教程
3）大厂实践
- HiveCube 在有赞的实践 2019-07
- Hive Metastore Federation 在滴滴的实践 2019-03
Presto、Trino
1）官网、社区、博客
- PrestoDB 官网
- Trino 官网 原PrestoSql
- Google Presto Group
- Presto 知乎专栏
- 若飞-技术博客
2）专栏
- Presto 架构、源码分析专栏
- Presto 最佳实践、调优、踩坑专栏
- Presto 资料汇总、会议资讯专栏
3）大厂实践
- Presto 在车好多的实践 2020-12
- Presto 在滴滴的探索与实践 2020-10
- Presto 在有赞的实践之路 2020-04
- PrestoCon 2020：云原生数据湖分析DLA的Presto实践 2020-03
- 携程 Presto 技术演进之路 2018-08
- Presto 实现原理和美团的使用实践 2014-06
- Presto 高性能引擎在美图的实践 2021-09
Spark
1）官网、社区、博客
2）专栏
- Apache Spark 的设计与实现
3）大厂实践
- SparkSQL 在有赞的实践 2019-01
- SparkSQL 在有赞大数据的实践（二） 2020-01
Flink
1）官网、社区、博客
- Flink 官网
- Flink Confluence
- Flink Blog
- Ververica Blog
- Ververica 中文
- Flink 知识图谱
- Jark's Blog - WuChong - 云邪
2）专栏
- Flink 架构、源码分析专栏
- Flink 实战系列
- Flink 开源项目汇总
教程
- Flink SQL Cookbook - Ververica
- Flink 零基础入门
- Flink 进阶教程
- Apache Flink 漫谈系列
- Flink 相关论文
3）大厂实践
Kudu
1）官网、社区、博客
2）专栏
- Kudu 原理
- Kudu 相关论文
3）大厂实践
4）其他
- 分布式存储系统 Kudu 与 HBase 的简要分析与对比 2018-11
HBase
1）官网、社区、博客
2）专栏
3）大厂实践
4）其他
- HBase Bulkload 实践探讨 2019-12
ClickHouse
1）官网、社区、博客
2）专栏
3）大厂实践
- ClickHouse 在有赞的实践之路 2021-01
4）其他
Doris
1）官网、社区、博客
2）专栏
- Doris全面解析
- Doris最佳实践
3）案例实践
- Apache Doris在美团外卖数仓中的应用实践 2020-04
- Apache Doris 在韵达物流领域的应用实践 2021-07
- Apache Doris 在蜀海供应链的实践 2021-07
- 京东物流基于 Doris 的亿级数据自助探索应用 2021-07
- Doris on ES在快手商业化的最佳实践 2021-08
- 基于Doris的有道精品课数据中台建设实践 2020-12
- 美团外卖实时数仓建设实践 2020-10
- Doris在作业帮实时数仓中的应用&实践 2020-09
- 基于Apache Doris的小米增长分析平台实践 2020-08
- Apache Doris在京东双十一大促中的实践 2020-03
- Apache Doris 在百度商业大规模微服务全链路监控的实践 2020-02
StarRocks
1）官网、社区、博客
2）案例实践
- 猿辅导 x StarRocks：构建统一OLAP平台，全面升级数据分析能力 2021-11
- 58集团 x StarRocks：全面升级数据分析能力，满足多场景业务分析需求 2021-11
- 小红书 x StarRocks：实现数据服务平台统一化，简化数据链路，提升高并发极速查询能力 2021-11
- 滴滴 x StarRocks：极速多维分析创造更大的业务价值 2021-11
- 携程 x StarRocks：高效支持高并发查询，大幅降低人力和硬件成本 2021-11
- 小米 x StarRocks：极致性能打造小米式性价比数据平台 2021-11
- 顺丰科技 x StarRocks ：双十一实时运单分析实践 2021-11
- 汽车之家 x StarRocks：极速实时数据分析实践 2021-11
- 贝壳找房是如何基于StarRocks实现OLAP平台统一的？ 2021-11
Iceberg
1）官网、社区、博客
2）应用
- 数据湖 Iceberg | 实时数据仓库的发展、架构和趋势 2021-03
- 数据湖 Iceberg | Apache Iceberg 快速入门 2021-03
- 数据湖 Iceberg | 如何正确使用 Iceberg 2021-04
- 数据湖 Iceberg | 在网易云音乐的实践 2021-04
Hudi
1）官网、社区、博客
2）应用
Calcite
1）官网、社区、博客
2）应用
- Apache Calcite 处理流程详解（一） 2019-03
- Apache Calcite 优化器详解（二） 2019-03
- SQL 解析在美团的应用 2018-05
DolphinScheduler
二、大数据应用
大数据架构
- SQL on Hadoop 在快手大数据平台的实践与优化 2019-06
- 携程机票大数据架构最佳实践 2017-08
数仓相关
- 有赞数据仓库实践之路 2020-03
- OneData 建设探索之路：SaaS 收银运营数仓建设 2019-10
- 有赞指标库实践 2020-03
- 有赞 BI 平台实现原理 2021-01
- 面向AI技术的工程架构实践 | 贝壳一站式大数据开发平台实践 2020-11
数据治理、数据资产、元数据管理
- 美团配送数据治理实践 2020-03
- 全链路数据治理在网易严选的实践 2020-10
- 数据资产、数据治理 - 有赞 2019-11
- 浅谈有赞大数据安全体系 2021-01
元数据管理
- 有赞数据仓库元数据系统实践 2018-08
- 饿了么元数据管理实践之路 2018-07
- 数据治理方案技术调研 Atlas VS Datahub VS Amundsen 2020-11
- 数据资产治理-元数据采集那点事 - 有赞 2020-12
- 来看看字节跳动内部的数据血缘用例与设计 2022-02
Datahub
- Datahub A Metadata Platform for the Modern Data Stack
三、资源汇总
大厂技术博客
大数据相关网站
相关开源项目
- 数仓相关开源项目汇总
huangfox