awesome
awesome copied to clipboard
wangzzu
不积硅步，无以至千里
最近几年确实变动得懒惰了一些，连续两年没有写年终总结了，等到今年年底的时候再写吧，在这里简单列一些今年的计划： ## 工作 工作这块依然是今年的重中之重，关于工作，个人是这么看的，在工作中需要锻炼出自己的**职业化以及专业化**能力，这两个维度对当前阶段的自己是比较重要的、是今年需要有所突破的方向，今年也打算给自己下面的这些年度目标： 1. 在工作上的软能力上： 1. 关于技术管理这块，今年需要在思维和认知上做出突破，逐步改变自己偏执行的思维和行为模式，向技术管理者的思维模式转变，对整个小方向的现在和未来负责； 2. 平时还需要多思考、多总结，现在的自己在面对一些项目时，整体的思考还有所欠缺的、思考的深度也不够，这样就会导致做出的决策大概率不是最优选择，现在的自己很多情况都需要 leader 去帮助，这块自己需要逐渐弥补短板，正如《遥远的救世主》里所说的，”自己悟到的才是自己的“，日常工作中，还要跳出自己所处的位置去思考问题，可能最开始会比较花时间，但这一步是必须要迈过去的； 3. 关于工作中一些规划和目标这里就不多说了； 2. 在技术上： 1. 需要挤出时间多参与社区， 自己需要在团队中做出表率； 2. 在大数据这块，针对最近一两年比较热门的技术热点，投入一些时间了解和调研，输出一些文章和博客，这里暂时把目标设置为 10 篇。 ## 生活 生活上，就不多说了，主要是期望家人朋友健健康康，宝贝女生健健康康长大。 ## 个人兴趣 ### 运动...
Flink 源码分析
近段时间会花时间研究 Flink 源码实现相关的内容，这个 issue 会记录相关的总结文章（2019.3.19立，计划半年左右把 core、runtime、table&sql 部分的内容梳理完，这个系列的文章大概会叫做【Flink 原理与实现分析】）。 最近半年工作比较忙，这个系列一直没有开始，上周 Flink 1.9 正式发布了，后面会以 Flink 1.9 的代码为例，整理一下 Flink 相关的内容，计划元旦前把几个核心的模块整理完。--- 2019.8.25 立 以 Apache Flink 1.9 的代码为例，来系统全面地分析一些 Flink 的实现，虽然 Google 上已经可以搜到很多 Flink 的内容，但是我还是准备自己再开一个系列，出发点有两点：...
以后的 paper 阅读记录都放在这个 issue 下，尽量每篇 paper 都输出一篇笔记或者一段话做总结，优秀、经典的论文要参考这篇文章（ [一起读 paper](https://github.com/wangzzu/awesome/tree/master/paper-read) ）的方式来阅读。 下面有几个分布式相关的论文列表： 1. 这有个不错的系列：https://www.cnblogs.com/baiboy/p/100p.html 2. 知乎上有个不错的系列：https://zhuanlan.zhihu.com/db-readings 3. 这里还有一个机器学习的经典论文：https://github.com/LuckyZXL2016/Machine-Learning-Papers 4. 分布式系统相关论文：https://www.cnblogs.com/superf0sh/p/5754283.html 5. [读完这100篇论文 就能成大数据高手](http://www.csdn.net/article/2015-07-07/2825148) 6. [Readings in Streaming Systems](https://github.com/lw-lin/streaming-readings) 7. [My Top...
K8s 已经逐渐演化成了云上的操作系统，几乎统一了调度领域，之前风极一时的 yarn、mesos 颓势已经显现，这里记录一下 k8s 相关的内容，后面也会抽时间重点学习一下。 - [The History of Kubernetes on a Timeline](https://blog.risingstack.com/the-history-of-kubernetes/?spm=ata.13261165.0.0.20806476RiSelU)； - [Borg, Omega, and Kubernetes](https://storage.googleapis.com/pub-tools-public-publication-data/pdf/44843.pdf?spm=ata.13261165.0.0.20806476RiSelU&file=44843.pdf)；
**计算**是数据平台核心模块，这也是 Kafka 目前正在发力的地方，因为公司规模比较大，目前并不会去使用 Kafka Streams，但是这并不意味不需要去学习这块的内容，这个 issue 主要是为应用和学习 Kafka Steams 为开，再对 Kafka Steams 有了相应的深入学习之后，才能去更好地学习 KSQL 的相关内容（立于2018-06-09）。
作为技术人员，对技术还是要有一定的信仰，这里准备开一个新的系列 —— **为什么这么设计**，开这个系列的原因有两个： 1. 是参考 [为什么这么设计系列文章](https://mp.weixin.qq.com/s/GvooRnhXwbFbxZIxxpoiCA) ，个人感觉这个系列还是相当不错的，针对某个问题，追根究底，并且要能够给大家讲清楚； 2. 是通过这个系列，对于平时常见的、具体的某个问题，做一下总结思考，很多设计和解决方案都是相通的。 期望这个系列，每个月能至少输出一篇文章。
计划每半年左右定一个专题去学习，借鉴于这篇文章[技术大牛养成指南，一篇不鸡汤的成功学实践](https://mp.weixin.qq.com/s/5PfaaWBFCw5-MuAnR7ABiQ)的方法论，从今年的9.11到12.31准备去学习操作系统这个方向的内容，这也是自己年初给自己定的计划。 - 参考书：[深入理解计算机系统](https://item.jd.com/12006637.html)、[操作系统：精髓与设计原理](https://item.jd.com/10255221.html)、[深入理解LINUX内核](https://item.jd.com/10100237.html)； - 参考视频教程：CMU 的 [CSAPP](http://csapp.cs.cmu.edu/3e/students.html)。 - 计划按主题输出相应的博客，每周看一节教程的视频。
这里有一些关于 Kafka New Feature 的讨论，也是非常值得深入的： 1. producer 端如何实现不重（1.0.0代码）[KIP-98 - Exactly Once Delivery and Transactional Messaging](https://cwiki.apache.org/confluence/display/KAFKA/KIP-98+-+Exactly+Once+Delivery+and+Transactional+Messaging)； 2. kafka 能否做到完全不丢（腾讯开源的一个 mq：[微信开源PhxQueue：高可用、高可靠、高性能的分布式队列](https://mp.weixin.qq.com/s/Hr4TUg8o1AQkowQpSDIhYA)），或者有没有什么情况下kafka 即使做了不丢的设置，还是会有丢失的风险？ 这个issue主要讨论kafka事务性（包括不重不丢的机制）
这里重点还是关注分布式系统的基础理论学习，要深入理解，如果可以的话，最好能够自己用代码实现一下。 ## 一致性协议 这里也会涉及到分布式存储的内容。 1. CAP； 2. 2PC 和3PC，[分布式系统的一致性协议之 2PC 和 3PC](http://matt33.com/2018/07/08/distribute-system-consistency-protocol/)； 3. raft 协议； 4. zab 协议； 5. 分布式一致性协议 Paxos； ## 分布式快照算法 1. Flink 的 Chandy-Lamport 算法； ## 大数据数据处理架构...
这个 PR 是计划学习 TiDB 相关的内容，目前想介绍的 topic 有： 1. raft 协议总结+TiKV 在 raft 的实现； 2. HTAP：行列混存的业内实现； 可以参考的文章： 1. [线性一致性和 Raft](https://pingcap.com/blog-cn/linearizability-and-raft/)； 2. [三篇文章了解 TiDB 技术内幕 - 说存储](https://pingcap.com/blog-cn/tidb-internal-1/)； 2. [三篇文章了解 TiDB 技术内幕 -...