flink-cdc icon indicating copy to clipboard operation
flink-cdc copied to clipboard

Flink CDC 不支持 aliyun rds mysql 5.6 版本

Open silloy opened this issue 3 years ago • 12 comments

使用flink cdc提示:Caused by: java.sql.SQLSyntaxErrorException: SHOW command denied to user 'xxx'@'xxx' for table 'slave_master_info' 排查发现是用户缺少 show database 权限(参考文档),但 aliyun rds mysql 5.6 无法添加这个权限,已经和客服确认,5.7可以,请问有其他解决办法吗

image

silloy avatar Mar 26 '21 03:03 silloy

'debezium.table.exclude.list' = 'slave_master_info' 跳过 slave_master_info 表,试试看

wuchong avatar Mar 27 '21 05:03 wuchong

什么配置文件?flink-conf.yaml, 文档未提到相关配置文件,我参考的是 https://github.com/ververica/flink-cdc-connectors/wiki/MySQL-CDC-Connector

silloy avatar Mar 29 '21 03:03 silloy

image 在 source 表的配置中加了配置后会报这个错

silloy avatar Mar 31 '21 10:03 silloy

'debezium.table.exclude.list' = 'slave_master_info' 跳过 slave_master_info 表,试试看

这个参数加哪里

doudou06180618 avatar Jun 10 '21 06:06 doudou06180618

image 在 source 表的配置中加了配置后会报这个错

现在这个问题解决了吗

doudou06180618 avatar Jun 10 '21 06:06 doudou06180618

没有,弃疗了

老哥别放弃,我刚整好

让dba新建一个账号(不要和老账号同名),然后把新建的账号去掉select去掉select权限,然后你试一下

doudou06180618 avatar Jun 10 '21 07:06 doudou06180618

没有,弃疗了

老哥别放弃,我刚整好

让dba新建一个账号(不要和老账号同名),然后把新建的账号去掉select去掉select权限,然后你试一下

可以,我们这边权限不好搞,暂时用别的方案了,后面有需要再用

silloy avatar Jun 10 '21 08:06 silloy

@silloy @doudou06180618 debeizum 支持全量+增量,由于实现问题,即使排除了特定库和特定表,还是将所有当前账号有select权限的都执行show create table,从而导致上述问题,为了解决这个问题。我是使用debezium同步数据到pulsar,正好搜到这个内容,使用的debezium版本为1.0

  1. 不要创建aliyun高权限账号,创建普通账号,然后将所有需要全量同步的库进行授权,这样的话就能避开这个问题
  2. 全量同步完之,继续使用该账号进行增量同步,也没问题

haormj avatar Oct 15 '21 07:10 haormj

没有,弃疗了

老哥别放弃,我刚整好

让dba新建一个账号(不要和老账号同名),然后把新建的账号去掉select去掉select权限,然后你试一下

老哥,我也出现了,我把select去掉之后确实是可以全量了,但是增量就不行,无法获取增量数据

BoredTape avatar Dec 10 '21 11:12 BoredTape

@BoredTape 是不是没有给 REPLICATION SLAVE, REPLICATION CLIENT 权限? 有报什么错吗?

wuchong avatar Dec 10 '21 12:12 wuchong

@BoredTape 是不是没有给 REPLICATION SLAVE, REPLICATION CLIENT 权限? 有报什么错吗?

我刚刚知道为啥了老哥,因为!!!填错了rds地址!确实能全量获取到数据,增量的时候拿到的binlog文件是错的,导致一直监听不到变化,导致增量失败,小弟查了好久好久好久。。。。

BoredTape avatar Dec 10 '21 12:12 BoredTape

请问这个问题最后解决了吗?rds 是否可以通过新账号(控制不抽取的表的读权限)来抽取新老数据

ning2444 avatar Sep 02 '22 10:09 ning2444