labulabuduo
labulabuduo
Resolve exceptions when using SSO
**应用场景：** 公司的数据分析团队目前使用的是sas软件，界面较落后，需要在每台机器上都安装客户端，单机环境，依赖于机器配置，无法与集群速度相比，缺少高可用高并发的特性。目前公司的数据处理方式，需要先将数据下载到本地，再通过sas编写脚本处理，原始数据、脚本、结果数据会极大占用机器空间。并且sas是国外的成熟商业软件，每年的采购价格不菲。为了节省开支，以及支持办公软件国产化，所以寻找国内优秀的开源软件用以逐步替代sas。 **解决问题：** 使用了dss与linkis组件，以页面化的形式开发脚本，方便快捷，能够使用多种类型脚本直接操作hive数据，不需要数据导出到本地后再处理，对sas节省资源开销，相比较于sas方便的管理HDFS中的文件。目前阶段处于分析人员使用dss开发数据处理脚本，以及使用过程中的问题修复。 **使用情况：** 目前阶段处于linkis适配公司环境，以及修复使用问题，还未新增功能或者新引擎支持，后续如有会分享出来。 公司的大数据相关环境有专门的团队负责，我们在安装使用的过程中进行了一系列的适配： 1.大数据环境使用的是CDH 5.16.1，而源码是社区版本，所以根据具体的版本我们进行了重新编译。 2.HDFS权限被ACL接管，不与Linux系统权限同步，所以直接用hql脚本查询数据时，遇到了HDFS目录无权访问的情况。经过沟通了解到数据团队规定必须通过jdbc，经过域账号验证后，才可访问hive数据。所以在使用中暂时将hql和sql的脚本隐藏，主要使用jdbc和python脚本来处理数据。 3.公司spark版本是2.4.0.cloudera2，修改了后台识别版本的逻辑。 4.CDH对版本校验比较严格，所以修改了pyspark.zip包中的content.py文件，将社区版中的分支判断补充进来： ```py if allow_insecure_env == "1" or allow_insecure_env.lower() == "true": warnings.warn( "You are passing in an insecure Py4j gateway....
创建脚本或者重命名时输入“表、详、情、建、表、向、导”中任意一个中文后，脚本图标消失，脚本没有“运行”按钮。 service/mixin.js中SUPPORTED_LANG_MODES前两条数据的正则表达式规则有误。
在数据库中右键删除表后，没有刷新该表所在的库，而且是刷新的上一选中状态的库。 hivesiderbar.vue：deletetable中的判断逻辑有误。
工作流节点
工作流进入节点脚本编辑页面，点击历史中的查看，只能看到只读的脚本内容，无法回到之前的脚本编辑页面。
python画图脚本的结果集会生成2个，第一个空白，第二个才是真正的画图输出。python引擎会生成一个空白内容的dolphin文件。
工作流节点脚本执行完毕后，在运行结果中，耗时无内容。node.vue中缺少:cost-time的传值。
scriptis中脚本运行结果全屏后，无法退出。