Results 30 comments of Paddy Gu

其中1项状态是FINISHED,可以检查一下是否存在数据倾斜

MySQL Binlog need Three permissions : SELECT, REPLICATION SLAVE, REPLICATION CLIENT It looks like there is no SELECT permission https://dtstack.github.io/chunjun-web/en/docs/chunjunDocs/connectors/binlog/binlog-source

We execute an SQL statement to read the data when the task starts.After that, the DDL and DML of the table are not perceived. Perhaps the JDBC plugin's Polling mode...

1.The Polling mode extends the incremental mode(We distinguish whether a job is increment based on whether IncreColumn exists) 2.The polling mode must be the increment mode, but the increment mode...

@berg-xu 图上的表述是正确的,binlog读取的时候可以读取多个表,DML还原的时候也可以写入多个表

请问用的是chunjun哪个版本呢 是最新的吗

Could you please provide the json script of the job ?

logminer将number类型的数据当作java.lang.Long去处理。 此处使用了transformSQL,使用的是genericRowData传输数据(如果断开算子链,在序列化后应该会变为binaryRowData),这两种RowData均不能实现Long->Int的转换。 解决方案: 1.此处如非必要可以去掉transformSQL,这样会使用Chunjun的ColumnRowData去兼容Long->Int的转换。 2.使用SQL脚本的方式去跑作业,flinkSQL会隐式处理Long->Int的cast

可以尝试关闭算子链 env.disableOperatorChaining() 或者 设置环境变量 pipeline.operator-chaining=false

用transformersql的情况下,数据类型不对应需要手动cast 另外,在上述场景下transformSQL好像没有存在的必要