tispark icon indicating copy to clipboard operation
tispark copied to clipboard

tispark 缺少监控数据

Open melin opened this issue 5 years ago • 2 comments

如果实时导入数据,同时有spark 读取大表数据,导致IO 很高,影响实时导入性能,tikv leader 监控波动很大。希望有对tispark 读取表的一些消耗资源的监控数据,业务可以给予这些数据,做监控告警。

melin avatar Nov 20 '18 13:11 melin

这些数据从TiKV的指标无法观测么? @melin

ilovesoup avatar Dec 14 '18 06:12 ilovesoup

这些数据从TiKV的指标无法观测么? @melin

有otter实时同步数据,和tispark 读数据。最开始不确定那里导致io比较高,后来判断是tispark 导致的,但不知道读取哪个表引起的,再通过告警的时间点,查找那个时间点运行的任务,找到可能读取的任务,通过任务找到表,分析链路有点长。

melin avatar Dec 14 '18 10:12 melin