hadoop_study icon indicating copy to clipboard operation
hadoop_study copied to clipboard

近期计划

Open realguoshuai opened this issue 6 years ago • 18 comments

realguoshuai avatar Nov 02 '18 00:11 realguoshuai

现在工作暂时转到Solr优化上,周末将原来的笔记分类上传

realguoshuai avatar Nov 14 '18 00:11 realguoshuai

Kafka-->Spark--->Flink

realguoshuai avatar Dec 04 '18 00:12 realguoshuai

数据分析统计-->数据可视化中间这一过程 后台讨论后计划使用HBase原生api替换Phoenix实现入库 取数据 处理

realguoshuai avatar Dec 17 '18 00:12 realguoshuai

后台计划重新设计HBase表,替换在Phoenix下存取性能不好的几个服务

realguoshuai avatar Dec 20 '18 00:12 realguoshuai

后台任务并不是很重,之前一直都是根据需要去学东西,没什么规划.所以重新规划一下路线: 根据工作和职业规划对接触到的组件排一个优先级: Spark Scala Flink Solr Java Phoenix Kafka HBase ZK Hadoop原理 hive

realguoshuai avatar Dec 28 '18 00:12 realguoshuai

在2018结束前完成mtdap系列(已完成:mtdap-consumer(solr实时创建索引),mtdap-hbase,mtdap-qal (离线数据同步) 未完成:mtdap-kafka,mtdap-spark) 新功能添加和学习都在对应的mtdap项目上面 添加一个目录,保证各个学习功能间低耦合 每个项目包含readme,记录本项目相关

realguoshuai avatar Dec 28 '18 00:12 realguoshuai

接下来工作会接手Flink程序 后台架构调整过程中发现 Spark2.0不稳定 并且业务中要用到滑动窗口 干脆直接舍弃spark2.0 从spark1.5 直接过渡到flink1.3.0

realguoshuai avatar Jan 04 '19 08:01 realguoshuai

最近两个地方要上新项目 所以更新会比较慢

realguoshuai avatar Mar 07 '19 01:03 realguoshuai

集群升级城安全模式 又要调kerberos 开始996 估计要持续2个月 也学不到什么新东西 更新会有延迟

realguoshuai avatar Apr 13 '19 07:04 realguoshuai

某省会的项目 后台升级自己已经弄完 ,接下来日常开发flink新功能,会有一部分时间尝试使用ES

realguoshuai avatar Jun 01 '19 07:06 realguoshuai

flink开发自己无压力 但是没人交流 下一步计划 业余研究原理 ES改动太大,公司不太愿意变,先不管了 专攻flink了(flink cep +flink sql)

realguoshuai avatar Jun 21 '19 03:06 realguoshuai

基础:hadoop yarn zk hbase sql shell scala(伴生对象,偏函数,柯里化) 熟悉:flink redis kafka solr 了解:spark es 加分:调优 阅读源码 kerberos jvm

realguoshuai avatar Dec 03 '19 01:12 realguoshuai

Spark 已经可以通过自定义UDF+sql 进行简单的统计 下一步计划业余时间深入研究 实时Flink 离线Spark 搜索Solr/ES 三部分 LeetCode刷题也可以慢慢刷起来

realguoshuai avatar Mar 07 '20 03:03 realguoshuai

最近会偏向于离线spark部分和scala

realguoshuai avatar Jun 03 '20 06:06 realguoshuai

感觉flink-sql未来会是主流

zoucao avatar Jun 23 '20 12:06 zoucao

感觉flink-sql未来会是主流

大公司早都开始用了sql开发了,datastream用的少了

realguoshuai avatar Jun 28 '20 01:06 realguoshuai

感觉flink-sql未来会是主流

大公司早都开始用了sql开发了,datastream用的少了

你们公司flink-sql推进的怎么样啊,我们刚开始推进不久,很多还没有完善。

zoucao avatar Jun 28 '20 02:06 zoucao

感觉flink-sql未来会是主流

大公司早都开始用了sql开发了,datastream用的少了

你们公司flink-sql推进的怎么样啊,我们刚开始推进不久,很多还没有完善。

我们实时的业务比较少 暂时还没计划...

realguoshuai avatar Jun 29 '20 00:06 realguoshuai