spark-graphx-source-analysis
spark-graphx-source-analysis copied to clipboard
spark graphx 的原理及相关操作的源码解析
Spark GraphX
源码分析
Spark GraphX
是一个新的Spark API
,它用于图和分布式图(graph-parallel
)的计算。GraphX
综合了 Pregel
和 GraphLab
两者的优点,即接口相对简单,又保证性能,可以应对点分割的图存储模式,胜任符合幂律分布的自然图的大型计算。
本专题会详细介绍GraphX
的实现原理,并对GraphX
的存储结构以及部分操作作详细分析。
本专题介绍的内容如下:
目录
- 分布式图计算
- GraphX简介
- GraphX点切分存储
- vertices、edges和triplets
- 图的构建
-
GraphX的图运算操作
- 转换操作
- 结构操作
- 关联操作
- 聚合操作
- 缓存操作
- GraphX Pregel API
- [图算法实现]
- 宽度优先遍历
- 单源最短路径
- 连通组件
- 三角计数
- PageRank