datax-web
datax-web copied to clipboard
DataX集成可视化页面,选择数据源即可一键生成数据同步任务,支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源,批量创建RDBMS数据同步任务,集成开源调度系统,支持分布式、增量同步数据、实时查看运行日志、...
datax支持大部分的rdbms的读写,目前支持达梦、db2、PPAS、Sybase数据库的读取 [查看官方介绍](https://github.com/alibaba/DataX/blob/master/rdbmsreader/doc/rdbmsreader.md) 通过在datax-web中增加dm类型的操作, 插件使用的RdbmsReader 和 RdbmsWriter 进行读写, 目前已经在本地测试通过, 流程如下: 1. 增加达梦数据源的连接:  2. 构建Reader后构建Writer选择达梦数据源  3. 构建json, 可以看到这里使用的rdbmsWriter  4. 之后点击执行一次, 触发一次datax任务, 任务运行成功后, 查看dm目标表的数据如下  这里直接同步的datax-web的用户表信息, 可以看到同步成功 5. 从达梦读数据也是同理, 测试可以同步成功,...
msg: "Timed out after 30000 ms while waiting for a server that matches ReadPreferenceServerSelector{readPreference=primary}. Client view of cluster state is {type=UNKNOWN, servers=[{address=127.16.2.37:27017, type=UNKNOWN, state=CONNECTING, exception={com.mongodb.MongoSecurityException: Exception authenticating MongoCredential{mechanism=null, userName='wtwWdv3LkSH19myyYDwTpQ==', source='admin',...
A fixed key is used to generate a token, and the token can be forged for the administrator to add to the login background. https://github.com/WeiYe-Jing/datax-web/blob/master/datax-admin/src/main/java/com/wugui/datax/admin/util/JwtTokenUtils.java  Call method to generate...
Handler dispatch failed; nested exception is java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/protobuf/generated/MasterProtos$MasterService$BlockingInterface
182.42.157.222 - [11/Sep/2024:23:11:05 +0800] "POST / HTTP/1.1" 499 0 "-" "-" "-" "C0.com.wugui.datax.rpc.remoting.net.params.Beat$1\x98\x09requestId\x10createMillisTime\x0BaccessToken\x09className\x0AmethodName\x07version\x0EparameterTypes\x0Aparameters`\x0EBEAT_PING_PONG\xE0NNNNNN" admin在不间断发送这个请求给执行器,但是看了代码,执行器应该不会响应这个rpc请求,因此,nginx一直返回499、502 请问这个是怎么回事?
-rw-r--r--@ 1 sword staff 5466 8 8 18:12 588.log -rw-r--r--@ 1 sword staff 5466 8 8 18:14 589.log -rw-r--r--@ 1 sword staff 5466 8 8 18:14 590.log -rw-r--r--@ 1 sword...