spark_data_mining

spark_data_mining copied to clipboard

This repository provides tutorial code for big data mining to learn spark. 本库利用java spark实现的数据挖掘项目，包括一些数据的常规分析与挖掘，也包括了一些机器学习算法。这些项目都可以直接运行在所指定的数据集上。未来如果看到有好的数据挖掘项目或者有自己不错的想法都会随时更新实现。

##Contents

1. basics

• TrafficOperationAnalysis淘宝APP一个月数据的流量运营分析
• AssociationRules关联规则
• FindCommonFriends共同好友
• FriendRecom推荐朋友
• ItermCFMovieRecom推荐电影
• KNN最近邻
• NB贝叶斯

2. intermediate

• ALS股票组合推荐
• Markov马尔可夫智能邮件预测
• SparkSmote样本采样
• RFM客户价值分群挖掘
• 手机基站定位数据的商圈分析
• AHP层次分析顾客价值得分
• RF用户流失预测

3.advanced

• 时间序列预测(商品销量预测)

requirements

• [java1.8]
• [spark3.0]
• [python3.6]
• [pandas1.1.4]
• [numpy1.18.5]
• [lightgbm2.3.x]

references

• data algorithms
• spark
• spark_smote
• LearningApacheSpark

contact

如有搜索、推荐、nlp以及大数据挖掘等问题或合作，可联系我：

1、我的github项目介绍：https://github.com/jiangnanboy

2、我的博客园技术博客：https://www.cnblogs.com/little-horse/

3、我的QQ号:2229029156