kun-scheduler
kun-scheduler copied to clipboard
miotech
A workflow scheduler understands both your data and metadata.
**Is your feature request related to a problem? Please describe.** Currently we are using a first-party, self-implemented component to display DAG. Since we are lacking resources on maintaining & enhancing...
## 背景 因为历史原因，当时我们将 Lineage 功能集成在了 Workflow 模块中。现在看来是错误的。 首先是从定义角度上，Lineage 是元数据的一部分，本来就应该交给 Metadata 模块管理。 第二是从功能和模块设计上，Workflow 作为最基本的底层模块，应该尽可能保证功能独立且最小化。引入血缘功能后，使得 Workflow 需要额外依赖 Neo4j 等图数据库来支持其运行，增大了部署成本和使用难度。 ## 迁移计划 我们简单分析了一下 Lineage 在 Workflow 中的构成。目前 kun-workflow 模块中直接提供或构成 Lineage 相关功能的类有： com.miotech.kun.workflow.common.lineage.service.LineageService com.miotech.kun.workflow.common.lineage.node.DatasetNode...
**Is your feature request related to a problem? Please describe.** 提交 flink 应用的operator，不过目前 workflow 还不支持 continuous， streaming应用只能当不会停止的oneshot来使用。 [代码分支](https://github.com/miotech/KUN/tree/Feature-flink-operator/kun-data-platform/kun-workflow-operators/flink-operators) **Describe the solution you'd like** 参考 [README.md](https://github.com/miotech/KUN/blob/Feature-flink-operator/kun-data-platform/kun-workflow-operators/flink-operators/README.md) **Additional context** 开发的时候，碰到了以下问题，还没解决 1. workflow执行时，classpath冲突的问题...
