flink-cdc
flink-cdc copied to clipboard
Flink CDC 不支持 aliyun rds mysql 5.6 版本
使用flink cdc提示:Caused by: java.sql.SQLSyntaxErrorException: SHOW command denied to user 'xxx'@'xxx' for table 'slave_master_info' 排查发现是用户缺少 show database 权限(参考文档),但 aliyun rds mysql 5.6 无法添加这个权限,已经和客服确认,5.7可以,请问有其他解决办法吗
用 'debezium.table.exclude.list' = 'slave_master_info'
跳过 slave_master_info 表,试试看
什么配置文件?flink-conf.yaml, 文档未提到相关配置文件,我参考的是 https://github.com/ververica/flink-cdc-connectors/wiki/MySQL-CDC-Connector
在 source 表的配置中加了配置后会报这个错
用
'debezium.table.exclude.list' = 'slave_master_info'
跳过 slave_master_info 表,试试看
这个参数加哪里
在 source 表的配置中加了配置后会报这个错
现在这个问题解决了吗
没有,弃疗了
老哥别放弃,我刚整好
让dba新建一个账号(不要和老账号同名),然后把新建的账号去掉select去掉select权限,然后你试一下
没有,弃疗了
老哥别放弃,我刚整好
让dba新建一个账号(不要和老账号同名),然后把新建的账号去掉select去掉select权限,然后你试一下
可以,我们这边权限不好搞,暂时用别的方案了,后面有需要再用
@silloy @doudou06180618 debeizum 支持全量+增量,由于实现问题,即使排除了特定库和特定表,还是将所有当前账号有select权限的都执行show create table,从而导致上述问题,为了解决这个问题。我是使用debezium同步数据到pulsar,正好搜到这个内容,使用的debezium版本为1.0
- 不要创建aliyun高权限账号,创建普通账号,然后将所有需要全量同步的库进行授权,这样的话就能避开这个问题
- 全量同步完之,继续使用该账号进行增量同步,也没问题
没有,弃疗了
老哥别放弃,我刚整好
让dba新建一个账号(不要和老账号同名),然后把新建的账号去掉select去掉select权限,然后你试一下
老哥,我也出现了,我把select去掉之后确实是可以全量了,但是增量就不行,无法获取增量数据
@BoredTape 是不是没有给 REPLICATION SLAVE, REPLICATION CLIENT 权限? 有报什么错吗?
@BoredTape 是不是没有给 REPLICATION SLAVE, REPLICATION CLIENT 权限? 有报什么错吗?
我刚刚知道为啥了老哥,因为!!!填错了rds地址!确实能全量获取到数据,增量的时候拿到的binlog文件是错的,导致一直监听不到变化,导致增量失败,小弟查了好久好久好久。。。。
请问这个问题最后解决了吗?rds 是否可以通过新账号(控制不抽取的表的读权限)来抽取新老数据