Archery icon indicating copy to clipboard operation
Archery copied to clipboard

[ 需求 ]是否可以添加批量任务执行

Open 2963305366 opened this issue 6 years ago • 9 comments

问题描述

部署的archer1.4.3,能成功运行,但是有个痛点,比如我们主库实例有300多个,这个时候很麻烦。 1,添加主库实例的时候,得一个个添加一个个关联资源组,是否有便捷方法? 2,发布SQL的时候要一个个实例去点击发布同样一个SQL,有点繁琐,是否可以提供批量发布功能?

感谢免费开源archer,很好用,真心感谢感谢!

2963305366 avatar Apr 02 '19 06:04 2963305366

有没有考虑过利用类似mysql cluster 的功能来做? 批量发布这个功能似乎不应该是一个工单平台实现的。

关于批量添加的事情, 目前可以批量关联, 但是批量添加功能目前还没有, 我们的密码加密代码在 https://github.com/hhyo/Archery/blob/master/common/utils/aes_decryptor.py , 可以将密码按代码中的方法加密后, 通过sql语句的方式灌进去。

或者用model对象也可以

LeoQuote avatar Apr 02 '19 06:04 LeoQuote

我们每个实例的业务都不一样,不是sharding啥的,每套实例只是一些表结构是一样的,并非所有全部一致。cluster并不适合。

2963305366 avatar Apr 02 '19 06:04 2963305366

我们目前有的是将同样的语句快速提交到别的实例,这个功能是为了解决多环境的问题,一般环境可能三四个最多了。

如果像你描述的环境有几百个,我比较倾向于你们公司架构设计是不是有优化空间,一些数据结构类似而且需要同步变更的表,是不是可以考虑合并使用。

LeoQuote avatar Apr 02 '19 08:04 LeoQuote

初始化实例添加和关联资源组确实没有更便捷的办法,可梳理清表结构关系后按照 @LeoQuote 的方式自行生成SQL写入数据库

关于批量任务执行,不知道具体你的需求是批量执行还是批量提交

  • 对于批量提交这块平台不会去做,因为涉及到选择不同实例不同数据库,还有检测结果的展示等,会比较复杂,一般会通过数据库中间件来做掉了
  • 批量执行,也就是可以勾选多个已审批通过的工单一起提交执行,这块是可以考虑加入的,也是相对比较容易实现的功能

hhyo avatar Apr 02 '19 09:04 hhyo

关于批量任务执行,不知道具体你的需求是批量执行还是批量提交> * 对于批量提交这块平台不会去做,因为涉及到选择不同实例不同数据库,还有检测结果的展示等,会比较复杂,一般会通过数据库中间件来做掉了

  • 请问里面提到的数据库中间件有啥,可以举个例子吗

ganlanshu avatar Nov 06 '20 10:11 ganlanshu

关于批量任务执行,不知道具体你的需求是批量执行还是批量提交> * 对于批量提交这块平台不会去做,因为涉及到选择不同实例不同数据库,还有检测结果的展示等,会比较复杂,一般会通过数据库中间件来做掉了

  • 请问里面提到的数据库中间件有啥,可以举个例子吗

中间件可以做dml,ddl还是需要平台来处理,不过由于不同场景的分片规则不一致,想要做成通用的会比较困难

hhyo avatar Nov 06 '20 12:11 hhyo

关于批量添加的事情, 目前可以批量关联, 但是批量添加功能目前还没有, 我们的密码加密代码在 https://github.com/hhyo/Archery/blob/master/common/utils/aes_decryptor.py , 可以将密码按代码中的方法加密后, 通过sql语句的方式灌进去。

或者用model对象也可以

  • 利用model对象批量插入实例,发现密码加密方法并不是按照aes_decryptor的方法加密的。
  • 利用aes_decryptor 里的加密方法,加密密码后得到的数据,和直接利用sql查询到的密码不一样,感觉像是按照依赖的第三方工具包django-mirage加密的,可以说下真正使用的是哪种加密方法吗

ganlanshu avatar Nov 16 '20 09:11 ganlanshu

目前都是使用django-mirage加密的

hhyo avatar Nov 16 '20 11:11 hhyo

目前都是使用django-mirage加密的

好的,问题已解决,感谢

ganlanshu avatar Nov 18 '20 03:11 ganlanshu