bigdata_learning
bigdata_learning copied to clipboard
大数据组件学习代码
大数据学习文档、实战代码、源码解析、测试数据
包含python、mysql、shell、 hadoop、hive、zookeeper、hbase、flume、kafka、spark、flink、dolphinscheduler、elasticsearch、sqoop、clickhouse、flinkcdc、canal、debezuim、datax、hudi、starrocks、iceberg、doris、cdh、superset、docker、kubernetes、strampark、maxwell等组件学习、实战、面试 持续更新中...
码字不易,路过的朋友们右上角请点个 ★star★ 鼓励一下~,感谢(抱拳)。
一、python
【 5. Anaconda Jupyter Notebook中配置多版本Python 】
二、shell
三、大数据基础环境准备
四、hadoop
【 2. hadoop基于 HDFS HA 集群高可用安装 】
【 3. hadoop基于 YARN HA 集群高可用安装 】
五、hive
六、zookeeper
七、hbase
【 4. hbase 实时同步elasticsearch 案例 】
八、flume
九、kafka
【 8. 超惊艳的Kafka可视化工具,用了以后效率翻倍! 】
十、spark
十一、flink
【 3. pyflink Table API 基本操作案例 】
【 4. pyflink Table API wordcount案例 】
【 5. pyflink DataStream API wordcount案例 】
【 6. pyflink 集成 hive catalog模式建设数仓 】
【 7. pyflink 集成 hive catalog模式读写数据 】
【 8. FlinkSql 集成 hive catalog模式进行读写数据 】
【 9. ★ Flink checkpoint 执行流程及优化方案 ★ 】
【 16. FlinkSQL搭配Hive构建批流一体数仓完整过程 】
【 18. 源码剖析 | Flink源码修改编译保姆级教程 】
【 21. 万字长文 | 透过现象看本质 | 从WordCount 到Flink Streaming API 源码详细解读 】
【 22. Flink Table Api 完整源码解析 】
【 24. 翻遍Flink源码,发现Client任务提交之后运行步骤竟然还有45步之多... 】
【 25. 5000字彻底讲清什么是Flink状态与容错 】
【 26. 一张图彻底说清楚 Flink checkpoint 过程中 Coordinator 到底做了哪些事 】
【 27. Flink源码分析 | barrier(屏障) 如何传输 】
【 28. Flink源码解析|状态的更新和存储流程详解 】
【 30. Flink源码解析 | 状态恢复如何进行元数据读取 】
十二、dolphinscheduler
【 1. dolphinscheduler 定时任务编写详细教程 】
【 2. dolphinscheduler 定时任务编写详细教程 】
【 3. dolphinscheduler 文件/任务组/UDF管理 】
【 4. dolphinscheduler 配置DataX,Flink,Hive教程 】
【 5. dolphinscheduler 配置spark、SQL、Sqoop教程 】
十三、elasticsearch
十四、sqoop
十五、clickhouse
十六、flinkcCDC
【 1. OceanBase CDC 导入 Elasticsearch 】
【 2. MongoDB CDC 导入 Elasticsearch 】
【 3. Oracle CDC 导入 Elasticsearch 】
【 4. PolarDB-X CDC 导入 Elasticsearch 】
【 5. SqlServer CDC 导入 Elasticsearch 】
【 6. TiDB CDC 导入 Elasticsearch 】
【 7. 涨知识!Flink旁侧流同步Mysql多表到Doris 】
十七、canal
十八、debezium
十九、datax
二十、hudi
二十一、starrocks
二十二、iceberg
二十三、doris
【 5. 再见Hive,新一代数仓Doris横空出世,真香! 】
【 6. Doris真贴心,连测试数据都提供了,整整100G!建议收藏。 】
【 8. 基于Doris的OLAP查询和实时数据仓库实战 】
【 10. Flink Doris Connector使用详解 】
【 12. Doris查询太慢?看一下这些优化方法... 】
【 13. 网易一面:七种Doris数据导入方式你知道几种? 】
二十四、cdh centos
二十五、cdh ubuntu
二十六、superset
二十七、docker
二十八、kubernetes
二十九、streampark
三十、maxwell
三十一、Github
【 1. 想参与开源,不懂怎么PR(Pull Request),看这篇就够了 】
三十二、NIFI
【 1. NiFI实时同步MySQL数据到Kafka保姆级教程! 】
三十三、SEATUNNEL
【 1. 完美替代DataX,Seatunnel初体验. 】
【 2. 手搓一个全新 Seatunnel Connector 】
【 3. 共建开源】手把手教你贡献一个Seatunnel PR,超级详细教程! 】
【 4. seatunnel配置写入Kafka任务,附300个案例demo 】
【 5. dolphinscheduler+flink+seatunnel集成详细教程 】
三十四、Dinky
三十五、Paimon
三十六、Datasophon
【 1. 国产大数据平台Datasophon安装详细教程! 】