DatasourceX
DatasourceX copied to clipboard
Published
20 hours ago •
DTStack
DTStack
数据源插件 common-loader
一、介绍
模拟 Driver 通过不同的 classloader 加载，避免类名冲突导致加载不上的问题，提供大量关系型数据库、非关系型数据库以及像 HDFS、S3、ftp数据源的一些通用方法，简化开发成本：
-
大部分关系型数据库支持开启连接池以提高并发性能连接池使用
-
部分数据源支持kerberos认证kerberos认证
二、已支持的数据源
2.1 关系型数据库
| Database Type | Client doc |
|---|---|
| MySQL5 | doc |
| MySQL8 | doc |
| Polardb_For_MySQL(同mysql5) | doc |
| Oracle | doc |
| SQLServer | doc |
| PostgreSQL | doc |
| DB2 | doc |
| DMDB | doc |
| KINGBASE8 | doc |
| HIVE1.X | doc |
| HIVE2.X | doc |
| SPARK | doc |
| IMPALA | doc |
| INCEPTOR | doc |
| Clickhouse | doc |
| TiDB(同mysql5) | doc |
| CarbonData(同hive2.X) | doc |
| Kudu | doc |
| ADS(同mysql5) | doc |
| Kylin | doc |
| Libra | doc |
| GREENPLUM6 | doc |
| GBase_8a | doc |
| Phoenix4 | doc |
| Phoenix5 | doc |
| oceanbase | doc |
| Vertica | doc |
2.2 非关系型数据库
| Database Type | Client doc |
|---|---|
| REDIS | doc |
| HBASE(hbase1.x、2.x版本) | doc |
| ES(ES6、ES7版本) | doc |
| SOLR(SOLR7.4版本) | doc |
| MONGODB | doc |
| HBASE | doc |
2.3 文件系统
| Database Type | Client doc |
|---|---|
| HDFS | doc |
| S3(此为中国移动版本) | doc |
| AWS_S3 | doc |
| FTP | doc |
2.4 消息队列
| Database Type | Client doc |
|---|---|
| KAFKA(0.9、0.10、0.11、1.x版本) | doc |
| EMQ | doc |
2.5 其他
| Database Type | Client doc |
|---|---|
| websocket | doc |
| socket | doc |
| influxdb | doc |
三、立刻使用
请点击立刻使用
四、kerberos认证
请点击kerberos认证
五、开发步骤说明
- 在core模块下com.dtstack.dtcenter.loader.source.DataSourceType中增加新的数据源信息
- 在core模块下com.dtstack.dtcenter.loader.dto.source包中创建新数据源对应的sourceDTO，继承对应的抽象类或实现ISourceDTO接口
- 在项目下增加子模块并按照其他模块修改项目和子模块对应的pom文件信息
- 在新创建的模块中创建client类继承对应抽象类或实现对应接口并重写需要实现的方法
- 在Resources/META-INF/services 下增加文件com.dtstack.dtcenter.loader.client.IClient，并在里面补充实现类的引用地址：例如：com.dtstack.dtcenter.common.loader.db2.Db2Client
DTStack