sparkstreaming topic
sparkstreaming
:boom: :rocket: 封装sparkstreaming动态调节batch time(有数据就执行计算);:rocket: 支持运行过程中增删topic;:rocket: 封装sparkstreaming 1.6 - kafka 010 用以支持 SSL。
pyspark-twitter-stream-mining
Real-time Machine Learning with Apache Spark on Twitter Public Stream
HadoopLearning
全套大数据基础学习教程,包含最基础的centos、maven。大数据主要包含hdfs、mr、yarn、hbase、kafka、scala、sparkcore、sparkstreaming、sparksql。教程包含所有的源代码演示以及在线文档说明。
spark-utils
:boom: :alien: :hotsprings::rocket:Encapsulated spark 与其他组件的结合api,方便使用,例如 es,hbase,kudu,kafka,mq等
java_spark
Spark 2.x 案例操作:Scala版本与 Java1.8lambda版代码示例。涵盖Spark核心技术操作SparkCore、SparkSql、SparkStreaming。同时提供了Spark高级性能优化、序列化、广播变量、数据倾斜、算子优化、JVM优化、troublesh...
MovieRecommendSystem
电影推荐系统,包括基于ALS、LFM的离线推荐、实时推荐,基于Spark
spark_streaming_kafka_offset
SparkStreaming中利用MySQL保存Kafka偏移量保证0数据丢失