porter
porter copied to clipboard
sxfad
Porter是一款数据同步中间件，主要用于解决同构/异构数据库之间的表级别数据同步问题。
 在同步任务中其中一个表偶发性的字段对不上。但是查了binlog日志和字段对应的顺序是一致的。但是在同步的时候出现不一致的情况。希望大拿解答下。
您好，因业务系统库目前是单一主库，没有主从、读写分离。为了防止读写数据库数据时，对主库造成过大压力而影响业务库正常业务。请问porter可以设置读取or写入速率等配置，减轻业务主库压力吗？
It would be better if you modified it to docker deployment.
假设我们要将mysql表T_USER同步到目标端Oracle T_USER_2，源端表T_USER表结构与目标端表T_USER_2一致。我们的需求是只保留FLAG字段等于0的用户数据。 需求有了，接下来我们就要实现EventProcessor接口做自定义数据过滤 ``` package cn.vbill.middleware.porter.plugin; public class UserFilter implements cn.vbill.middleware.porter.core.event.s.EventProcessor { @Override public void process(ETLBucket etlBucket) { List rows = etlBucket.getRows().stream().filter(r -> { //第一步 找到表名为T_USER的记录 boolean tableMatch = r.getFinalTable().equalsIgnoreCase("T_USER");...
# 如何配置从Mysql到kafka的同步 **以下配置文件格式适用配置管理后台"同步管理->高级任务配置(原菜单名:本地任务)->新增" 如果是本地任务配置文件需要增加前缀"porter.task[任务下标，从0开始]"** ``` taskId=任务ID nodeId=节点ID consumer.consumerName=CanalFetch consumer.converter=canalRow consumer.source.sourceType=CANAL consumer.includes=数据库名.表名,数据库名.表名 consumer.source.filter=过滤表名正则 consumer.source.database=数据库名字 consumer.source.password=密码 consumer.source.address=ip:3306 consumer.source.username=用户名 loader.loaderName=KAFKA_SYNC loader.source.sourceType=KAFKA_PRODUCE loader.source.servers=kafka地址 loader.source.topic=主题 loader.source.oggJson=true(输出格式为ogg json格式) loader.source.partitionKey.数据库名(oracle schema名).表名=分片字段 ```
# 如何配置从Mysql到关系数据库的同步 **以下配置文件格式适用配置管理后台"同步管理->高级任务配置(原菜单名:本地任务)->新增" 如果是本地任务配置文件需要增加前缀"porter.task[任务下标，从0开始]"** ``` taskId=任务ID nodeId=节点1,节点2,节点3 consumer.consumerName=CanalFetch consumer.converter=canalRow consumer.source.sourceType=CANAL consumer.includes=数据库名.表名,数据库名.表名 consumer.source.filter=过滤表名正则 consumer.source.database=数据库 consumer.source.password=密码 consumer.source.address=ip:3306 consumer.source.username=用户名 loader.loaderName=JdbcBatch loader.source.sourceType=JDBC loader.source.dbType=可选项:MYSQL、ORACLE loader.source.url=jdbc:mysql://127.0.0.1:3306/数据库?useUnicode=true&characterEncoding=utf8 loader.source.userName=用户名 loader.source.password=密码 loader.source.maxWait=60000 loader.source.minPoolSize=10 loader.source.maxPoolSize=50 loader.source.initialPoolSize=20 loader.source.connectionErrorRetryAttempts=3 loader.insertOnUpdateError=false mapper[0].schema=源端schema,目标端数据库schema(mysql就是数据库名) mapper[0].table=源表名,目标端表名...
打包时遇到如下错误解决方式： cd porter-ui npm -p install xxxx(模块名) ``` > Task :manager:manager-boot:yarn_install yarn install v1.15.2 [1/4] Resolving packages... success Already up-to-date. Done in 0.90s. > Task :manager:manager-boot:buildPorterUI FAILED yarn node v1.15.2...
环境: task配置: taskId=102 nodeId=7e0ec95b-a870-4bc3-93e7-d57759daa789 consumer.consumerName=JdbcFetch consumer.source.clientType=JDBCConsume consumer.source.url=jdbc:mysql://192.168.1.144:3307/ds_data?useUnicode=true&characterEncoding=utf8&useSSL=false consumer.source.userName=root consumer.source.password=123456 consumer.source.table.0.table=ds_data.t_test consumer.source.table.0.incrementColumn=id consumer.source.table.0.timestampColumn=ts consumer.source.table.0.timestampColumnCast=unix_timestamp(ts)*1000 loader.loaderName=JdbcMultiThread #loader.loaderName=JdbcBatch loader.source.clientType=JDBC loader.source.url=jdbc:mysql://192.168.1.144:3307/target_data?useUnicode=true&characterEncoding=utf8&useSSL=false loader.source.userName=root loader.source.password=123456 mapper[0].schema=ds_data,target_data mapper[0].table=t_test,t_test 日志: 2019-06-27 17:22:13.217 INFO 12834 --- [TaskWork-[taskId:102]-[consumer:ds_data.t_test]-main] c.v.m.porter.task.worker.TaskWork :...
