weijiang.lin
weijiang.lin
### 技术选型 公司所处的是金融服务类的行业,需要给不同银行/公司实施一整套的项目。所以筛选了一圈发现DSS是跟公司场景最吻合的。 ### 改造过程 (1)单点登录 因为公司的服务方向是基于业务会有很多系统一整套的输出,所以第一个改造过程就是让DSS接进公司的单点登录系统。 第一步就是把dss整套先都搭建起来,过程很酸爽 :-)但排除各种问题完整搭建起来后还是非常有成就感的。 在整合过程中顺便提了个issues:https://github.com/WeBankFinTech/Linkis/issues/489 (2)脚本加密 因为公司规划里不想让客户知道具体执行了什么脚本,所以对所有的存储文件、脚本都做了加密,只有在界面跟底层引擎执行时才能看到具体真正的执行逻辑。 (3)适配Oracle、pg 默认DSS jdbc和visualis对 Oracle/pg的适配有些bug,因为后续的输出公司很多都会有极大可能用到Oracle,所以针对这个改动了一些 (4)界面适配 根据公司系统的风格,重新设计了首页,并且给workspace增加了删除的功能 (5)引入Schedulis 默认的DSS全家桶安装包里只有standalone的azkaban,不符合输出的要求,而且发现Schedulis也开源了,Schedulis还是添加了很多实用功能的,比如web节点的高可用,支持用户管理/exec的用户分配管理等等,所以用Schedulis替换了原先 standalone 的 azkaban。过程发现 Schedulis 对 azkaban 的改动还是蛮大的(webank牛逼) (6)优化一键部署脚本 原先的一键部署脚本因为这里引入了Schedulis,并且去掉了qualitis,所以有稍稍优化一下,也优化了一些再分布式部署时的一些小问题 (7)所有数据文件接入HDFS...
In a Windows environment, replace the `\` in the jar path with `/`.
### Search before asking - [X] I had searched in the [issues](https://github.com/apache/incubator-streampark/issues?q=is%3Aissue+label%3A%22bug%22) and found no similar issues. ### Java Version 1.8 ### Scala Version 2.12.x ### StreamPark Version 2.1.2(The dev...