tis
tis copied to clipboard
datavane
协力共建，繁荣TIS数据端类型
动机
TIS目前已经实现的数据端类型，以及支持的读写类型方式描述：https://tis.pub/docs/plugin/source-sink
随着大数据生态的繁荣，有越来越多的数据端在涌现，凭借TIS优良的可插拔扩展性，目标将生态中的长尾头部及尾部的数据端都囊括其中。
为此，需要社区中有兴趣的小伙伴一起协力共建。
目前计划中需要实现的端有以下几种
最右侧列issue 有内容的说明已经提上日程，没有说明仅有意向
| 端类型 | 批读 | 批写 | 实时读 | 实时写 | issue |
|---|---|---|---|---|---|
| RocketMQ | ✔ | ||||
| SqlServer | ✔ | ✔ | #340 | ||
| Apache Paimon | ✔ | ✔ | #228 | ||
| AWS S3 | ✔ | #202 | |||
| AWS Glue S3 | ✔ | #202 | |||
| DB2 | ✔ | ✔ | #188 | ||
| RabbitMQ | ✔ | #185 | |||
| TiDB | ✔ | ✔ | ✔ | ✔ | #214 |
| CSV | ✔ | #241 | |||
| tDengine | ✔ | ✔ | ✔ | ✔ | #246 #247 |
| redis | ✔ | ✔ | |||
| ~~dameng（达梦）~~ | ~~✔~~ | ~~✔~~ | ~~#262~~ | ||
| ~~AliyunODPS~~ | ~~✔~~ | ||||
| mongo | ✔ | ✔ | #375 | ||
| kafka | ✔ | https://github.com/datavane/tis/issues/344 | |||
| postgresql | ~~✔~~ | ~~#291~~ | |||
| MariaDB | #307 | ||||
| SAPHana | #364 | ||||
| Oracle | ✔ | #374 |
用户还需要其他端类型请回复此Issue
回复内容可以按照一下格式：
- 端类型：xxxx
- 批量读：y / n
- 批量写：y / n
- 增量读：y / n
- 增量写：y / n
- 联系方式：钉钉号/微信号
- 有意向贡献：y / n
tidb实时读取数据 端类型：tidb 批量读：可以使用mysql连接方式 批量写：可以使用mysql连接方式 增量读：y / n 增量写：可以使用mysql连接方式 联系方式：钉钉号/pz7hxyl 有意向贡献：y
tidb实时读取数据 端类型：tidb 批量读：可以使用mysql连接方式 批量写：可以使用mysql连接方式 增量读：y / n 增量写：可以使用mysql连接方式 联系方式：钉钉号/pz7hxyl 有意向贡献：y
正在编写开发者工具到时候联系你，一起协作 https://github.com/qlangtech/tis/issues/233
端类型：csv 批量读：y 批量写：y 增量读：n 增量写：n 联系方式： a574681 贡献：n
已经添加新的issue：https://github.com/datavane/tis/issues/241
端类型：http/https 批量读：y 批量写：n 增量读：y 增量写：n 联系方式：1kh-9sitdophfo 贡献：n
说明： 接口数据是动态的，需要获取接口的动态数据，然后存储到writer中 类似Key是字段名称，Value就是字段对应的值
- [ ] 批量Redis 目标端写出，参考： https://github.com/lijufeng2016/DataX-redis-writer
- [ ] 增量Redis 目标端写出 ，参考：https://blog.csdn.net/u013289115/article/details/106277937/
