data-lineage-parent icon indicating copy to clipboard operation
data-lineage-parent copied to clipboard

Published 20 hours ago • verified publisher icon thestyleofme
→

Metadata

数据血缘，Hive/Sqoop/HBase/Spark等，发送到kafka后，解析处理使用neo4j生成血缘

data-lineage-parent

数据血缘，使用各种hook或sql解析，统一将血缘信息存到kafka后，在neo4j中进行储存展现

1. lineage-hooks

里面有各种hook，实现血缘采集

1.1 lineage-hive-hook

通过hive hook将血缘信息写入kafka

hive血缘neo4j示例

image

← Metadata

73
Stars
47
Forks
Watchers

Owner

verified publisher icon thestyleofme

Metadata

数据血缘，Hive/Sqoop/HBase/Spark等，发送到kafka后，解析处理使用neo4j生成血缘

Back