hadoop_study
hadoop_study copied to clipboard
近期计划
现在工作暂时转到Solr优化上,周末将原来的笔记分类上传
Kafka-->Spark--->Flink
数据分析统计-->数据可视化中间这一过程 后台讨论后计划使用HBase原生api替换Phoenix实现入库 取数据 处理
后台计划重新设计HBase表,替换在Phoenix下存取性能不好的几个服务
后台任务并不是很重,之前一直都是根据需要去学东西,没什么规划.所以重新规划一下路线: 根据工作和职业规划对接触到的组件排一个优先级: Spark Scala Flink Solr Java Phoenix Kafka HBase ZK Hadoop原理 hive
在2018结束前完成mtdap系列(已完成:mtdap-consumer(solr实时创建索引),mtdap-hbase,mtdap-qal (离线数据同步) 未完成:mtdap-kafka,mtdap-spark) 新功能添加和学习都在对应的mtdap项目上面 添加一个目录,保证各个学习功能间低耦合 每个项目包含readme,记录本项目相关
接下来工作会接手Flink程序 后台架构调整过程中发现 Spark2.0不稳定 并且业务中要用到滑动窗口 干脆直接舍弃spark2.0 从spark1.5 直接过渡到flink1.3.0
最近两个地方要上新项目 所以更新会比较慢
集群升级城安全模式 又要调kerberos 开始996 估计要持续2个月 也学不到什么新东西 更新会有延迟
某省会的项目 后台升级自己已经弄完 ,接下来日常开发flink新功能,会有一部分时间尝试使用ES
flink开发自己无压力 但是没人交流 下一步计划 业余研究原理 ES改动太大,公司不太愿意变,先不管了 专攻flink了(flink cep +flink sql)
基础:hadoop yarn zk hbase sql shell scala(伴生对象,偏函数,柯里化) 熟悉:flink redis kafka solr 了解:spark es 加分:调优 阅读源码 kerberos jvm
Spark 已经可以通过自定义UDF+sql 进行简单的统计 下一步计划业余时间深入研究 实时Flink 离线Spark 搜索Solr/ES 三部分 LeetCode刷题也可以慢慢刷起来
最近会偏向于离线spark部分和scala
感觉flink-sql未来会是主流
感觉flink-sql未来会是主流
大公司早都开始用了sql开发了,datastream用的少了
感觉flink-sql未来会是主流
大公司早都开始用了sql开发了,datastream用的少了
你们公司flink-sql推进的怎么样啊,我们刚开始推进不久,很多还没有完善。
感觉flink-sql未来会是主流
大公司早都开始用了sql开发了,datastream用的少了
你们公司flink-sql推进的怎么样啊,我们刚开始推进不久,很多还没有完善。
我们实时的业务比较少 暂时还没计划...