WeDataSphere 【有奖征文】云原生会给linkis带来哪些技术红利

余额宝从0到亿级用户的发展历时半年，到2020年疫情期间疫情状况展示应用，其用户规模从0到亿级只用了1周。这看似不可能的成绩归功于云原生，业务中台，及数据中台3大红利，其中linkis+dss作为大数据开发套件，是数据中台建设的一个重要组件，在数据开发过程中如何保证各种spark，hive，flink任务 100%成功，在数据生产阶段如何规划资源调度，最大限度利用资源，保证数据准时生产出来。那云原生又会给linkis带来什么样的技术红利呢，接下来介绍linkis+dss在艾佳生活的实践。 kubernetes，isitio，knative做为云原生操作系统及各微服务生产部署的技术底座，不仅是各大云厂商的发力点，也是中小型公司弯道超车的机会。如图所示，kubernetes可以屏蔽微服务对各种计算资源（cpu，gpu，tpu），存储资源（nfs，ceph，minio）等底层资源的感知，基于DNS做服务发现，通过fqdn及可找到对应的微服务，极大屏蔽了语言等差异性（如java微服务调用go，python）。

istio解决连接，安全，流量控制及可观测行等问题，3个月一个版本的更新周期。istio可以降低微服务部署的复杂性，并减轻开发团队的压力，是一个开源的服务网格，作为透明的一层接入到现有的分布式应用程序里。istio也是一个平台，拥有可以集成任何日志、遥测和策略系统的 API 接口。Istio 多样化的特性使各公司能够成功且高效地运行分布式微服务架构，并提供保护、连接和监控微服务的统一方法

knative可以实现无服务化，autoscale到0特性。让开发人员关注代码的运行而不需要管理任何的基础设施。程序代码被部署在诸如AWS，阿里云等平台之上，通过事件驱动的方法去触发对函数的调用。其技术特点包括了事件驱动的调用方式，以及有一定限制的程序运行方式，如AWS Lambda的函数的运行时间默认为3秒到5分钟。从这种架构技术出现的两年多时间来看，这个技术已经有了非常广泛的应用，例如移动应用的后端和物联网应用等。简而言之，无服务器架构的出现不是为了取代传统的应用。然而，从具有高度灵活性的使用模式及事件驱动的特点出发，开发人员／架构师应该重视这个新的计算范例，它可以帮助我们达到减少部署、提高扩展性并减少代码后面的基础设施的维护负担。

通过容器化交付linkis微服务制品，可以省去在各个公司jar包冲突，操作系统依赖，jdk版本依赖等问题的重复解决。大家在运维各种项目的时候可能经常遇到这样的问题，我在sit环境是没有任何问题的，为什么一到生产就会有各种莫名其妙的问题，可能是因为操作系统，硬件架构差异导致，如何避免这种问题的发生，保证sit，uat，stage环境的一致性，docker其一次编译，随处运行的特性不仅可以解决上诉问题，还可以极大的节省部署时间。 kubernetes在屏蔽底层资源差异，弹性扩缩容，健康检查，故障自愈等方面会解决linkis运维过程中的很多痛点，其内建资源deployment可以保证每个微服务按期望数量运行，如果发成oom，单机宕机等问题，会在其他服务器自动重启一个pod，完成故障自愈。下图是艾佳生活linkis混合云部署部署架构图，在3月份完成右侧架构升级，通过WAF，SLB做公网流量入口，解决安全，防DDos，cc攻击等，通过SLB解决高并发流量，同region跨zone多活问题，通过pvc挂载oss存储，10个9的可靠性保证存储的高可用，6线BGP及cdn加速保证海量数据读取的时效性