tispark
tispark copied to clipboard
tispark 缺少监控数据
如果实时导入数据,同时有spark 读取大表数据,导致IO 很高,影响实时导入性能,tikv leader 监控波动很大。希望有对tispark 读取表的一些消耗资源的监控数据,业务可以给予这些数据,做监控告警。
这些数据从TiKV的指标无法观测么? @melin
这些数据从TiKV的指标无法观测么? @melin
有otter实时同步数据,和tispark 读数据。最开始不确定那里导致io比较高,后来判断是tispark 导致的,但不知道读取哪个表引起的,再通过告警的时间点,查找那个时间点运行的任务,找到可能读取的任务,通过任务找到表,分析链路有点长。