LU KONG

@lw-lin 你在你的文章中提到*细粒度*的*忽略处理*，你们是怎么修改的，很好奇，想借阅一下你们修改的部分。谢谢！

## 背景 在开启Kerberos认证集群上运行Spark Streaming或者Structured Streaming这种长时间应用时，会遇到因为HADOOP_DELEGATION_TOKEN过期的问题而导致应用而异常退出。在Spark的官网上提供了一个解决方案如下图，总结来说就是在我们通过spark-submit脚本提交应用时，通过增加参数--principal和--keytab来解决这个问题。但是Spark内部是如何做到的呢？这就是下一小结的内容。  ## structured streaming on yarn 实现kerberos认证流程 这次就要介绍cluster模式下的kerberos认证流程。cluster模式下分为两部分的认证，一部分是ApplicationMaster(Driver)端的实现，另一部分是Executor端的实现。下面分别介绍 ### ApplicationMaster(Driver)端的kerberos认证流程 当客户端提交应用后，会向YARN申请一个容器，并在容器里面使用command启动ApplicationMaster，如图所示： ```scala ApplicationMaster 1. def main(args: Array[String]): Unit...