java_spark
java_spark copied to clipboard
Spark 2.x 案例操作:Scala版本与 Java1.8lambda版代码示例。涵盖Spark核心技术操作SparkCore、SparkSql、SparkStreaming。同时提供了Spark高级性能优化、序列化、广播变量、数据倾斜、算子优化、JVM优化、troublesh...
Spark 2.x 案例操作,是多年来根据工作积累整理出来!
麻烦路过的各位亲给这个项目点个 【star】,太不易了,写了这么多,算是对我坚持下来的一种鼓励吧!
- Scala版本
- Java1.8lambda版
涵盖Spark核心技术
- SparkCore、SparkSql、SparkStreaming
- Spark高级性能优化
- 序列化、广播变量、数据倾斜、算子优化、JVM优化、troubleshooting、数据倾斜解决
Spark性能调优
- 性能调优
- jvm调优
- shuffle调优(优先使用前面两点,实测有效)
- 算子调优
- troubleshooting
- 数据倾斜解决方案
文章最后,给大家推荐一些受欢迎的技术博客链接:
1. JAVA相关的深度技术博客链接
2. Flink 相关技术博客链接
3. Spark 核心技术链接
4. 设计模式 —— 深度技术博客链接
5. 机器学习 —— 深度技术博客链接
6. Hadoop相关技术博客链接
7. 超全干货--Flink思维导图,花了3周左右编写、校对
8. 深入JAVA 的JVM核心原理解决线上各种故障【附案例】
9. 请谈谈你对volatile的理解?--最近小李子与面试官的一场“硬核较量”
10. 聊聊RPC通信,经常被问到的一道面试题。源码+笔记,包懂
11. 深入聊聊Java 垃圾回收机制【附原理图及调优方法】
欢迎扫描下方的二维码或 搜索 公众号“大数据高级架构师”,我们会有更多、且及时的资料推送给您,欢迎多多交流!