Wang Luning

Results 37 comments of Wang Luning

支持把LDAP /ˈɛl.dæp/ 加进去

一般的红线规则都是啥样的?

你们Spark SQL 是怎么注册可reload的UDF。是不是Spark3以下没有什么办法。

@cjuexuan 如果是计算平台上的用户想测试下自己的UDF每次修改逻辑。这时候也没法重启ThriftServer,可能别的人也在使用平台。所以我是想调度引擎去管理这些UDF,提交Job的时候先执行注册UDF的代码,然后在执行平台用户写的计算逻辑。不知道还有没有更好的解法。所以想和您交流下。 > @deadwind4 目前我们reload udf还需要滚动重启app

如果是不通用的各个组维护的自定义UDF。就是每个Spark Job内部自己加载是吧。比如sql('CREATE TEMPORARY FUNCTION xxx ')这种。 这样各个组修改自己的UDF逻辑也没关系,反正下次Job启动逻辑就更新了。和Hive Metastore也无关,也不需要重启ThriftServer。对吧?

Thank you for your contribute, but we will update in the future, and rewrite all connector.

我提这个issue的目的是想了解PMC Jark Wu的想法和方案。因为我们内部也想做,就怕闭门造车后,与Flink 社区偏离太远,以后代码不好合并。

我记得目前的CDC Java API已经能识别 DDL变更了,SQL层面Jark Wu老师在Flink forward ASIA 有演讲《Flink CDC 如何简化实时数据入湖入仓》未来会开源。

查看chunjun项目里面有Hive插件 https://github.com/DTStack/chunjun

还需要更详细的描述,提供最小复现SQL。