flinkStreamSQL icon indicating copy to clipboard operation
flinkStreamSQL copied to clipboard

Published 20 hours ago • verified publisher icon DTStack

增大并行度后ALL模式维表缓存带来的数据库连接及内存压力

Open liubin2048 opened this issue 5 years ago • 2 comments

源码中ALL模式维表缓存是个flatMap操作，当任务数据量和计算压力增大后，增大SQL的并行度，每个并行度都会去维表中加载数据，这样一个是容易出现把维表连接打满的情况，另一个就是带来不小的内存开销。

因为存在定时更新数据，广播可能不太好做，能否实现一个taskmanager只加载一份维表数据，而不是每个slot都去加载一遍

liubin2048 avatar Apr 15 '20 13:04 liubin2048

这个会考虑改掉

yangsishu avatar Apr 16 '20 00:04 yangsishu

@yangsishu 可以提供点解决思路吗

liubin2048 avatar Apr 26 '20 06:04 liubin2048