Addax
Addax copied to clipboard
wgzhao
[Bug]: addax和datax的疑问？
What happened?
你好，有几个问题想了解一下。
1.现有的Addax是不支持datax自带的插件吗，比如datax的ossreader，测试了下兼容会报错，包的目录变化了，为什么不考虑在原有datax上开发呢，或者fork datax出来改，这样两者好融合，就好像addax支持presto的查询，datax不支持，又或者有一些插件，比如doris的reader和writer这种doris官方是有的，是否结合会更好呢？
https://doris.apache.org/zh-CN/docs/ecosystem/datax/
2.dolphinscheduler是支持的datax的，按理说也可以转变成运行addax，所以融合也有助于和其他框架的结合，但是现在测试有时候出现运行py脚本失败
因为看你说后面要将py启动脚本去掉了，去掉了，就没法结合使用了
3.看到你说的和datax的区别是去掉阿里的数据库组件，但是在现在阿里的云产品普遍程度还是比较高的，为什么不继续保留着呢？
4.现有的addax的doriewrite里面的配置有点奇怪，这几个参数是放在最外面的，但是demo又是放在connection里面，我看代码里面也是两者都有用了，两个都要配置，不然就会报错
Version
4.0.9 (Default)
OS Type
Linux (Default)
Java JDK Version
Oracle JDK 1.8.0
Relevant log output
No response
感谢反馈，代码还在维护，只是频率较低。
1.现有的Addax是不支持datax自带的插件吗，比如datax的ossreader，测试了下兼容会报错，包的目录变化了，为什么不考虑在原有datax上开发呢，或者fork datax出来改，这样两者好融合，就好像addax支持presto的查询，datax不支持，又或者有一些插件，比如doris的reader和writer这种doris官方是有的，是否结合会更好呢？ https://doris.apache.org/zh-CN/docs/ecosystem/datax/
这个有特定原因，这里不便详细描述
2.dolphinscheduler是支持的datax的，按理说也可以转变成运行addax，所以融合也有助于和其他框架的结合，但是现在测试有时候出现运行py脚本失败
脚本名称已经改成 addax.py ，你可以重名为为 datax.py 继续使用
因为看你说后面要将py启动脚本去掉了，去掉了，就没法结合使用了 脚本会一直保留，只是不再维护 3.看到你说的和datax的区别是去掉阿里的数据库组件，但是在现在阿里的云产品普遍程度还是比较高的，为什么不继续保留着呢？
暂时没有考虑将阿里云的产品包含进来，重要的一点是，如果我不购买，就无法进行测试，我无法保证插件可正常运行
4.现有的addax的doriewrite里面的配置有点奇怪，这几个参数是放在最外面的，但是demo又是放在connection里面，我看代码里面也是两者都有用了，两个都要配置，不然就会报错
这点我再排查，看是书史文档没有更新，注意随着版本的不同，json文件也有一些变动，请注意查看对应的版本的说明。
再次感谢反馈。
嗯嗯，谢谢作者的回复，等了好几天哈哈。想问下，如果是在原有datax上改支持trino，改动大吗，我看好像只是做了一些DataBaseType，里面做了些细节改动。如果不大，我就在datax上改。因为datax支持了oss的reader（可以读parquet文件），所以是想在改动小的一方上改动。也因为用到了官方的doris的包，所以选择在doris上改动比较方便。
我是做过把脚本重命名为datax.py，但是出现这个报错，有时候又不会。但是我的系统的python执行是用的python3的。但是在运行却变成了是python2.7
现在第一行好像是已经指定了？