flinkStreamSQL icon indicating copy to clipboard operation
flinkStreamSQL copied to clipboard

Published 20 hours ago • verified publisher icon DTStack

是否可以提供维表数据共享机制

Open PrettyJerry opened this issue 5 years ago • 2 comments

您 好！ 请问是否可以提供 维表数据共享机制，这样不同的JOB可以共享维表数据，这样可以在节省 维表数据存多份，同时可以进一步减轻维表数据库的并发访问压力。 当然可能是我的思路有问题，我们发现flinkstreamsql多个任务在访问同一个oracle数据库时还是有不小性能和session占用压力的。所以想看是否有相关机制能多个同类型的JOB共享维表数据，来降低数据库 压力。

PrettyJerry avatar Apr 14 '20 15:04 PrettyJerry

这个也是我们在考虑做的事情。现在同时引用同一个表多次会创建多个operator;导致对外部库存在比较大对压力。你这边有思路可以提供下一起讨论下

zoudaokoulife avatar Apr 15 '20 02:04 zoudaokoulife

@zoudaokoulife 对于这个问题，您那边有没有什么解决思路呢，现在还出现了join维表多次对内存需求很大的情况

liubin2048 avatar Apr 26 '20 06:04 liubin2048