导语：Hadoop和Kubernetes具有根本上不同的身份验证用户方式，这为希望从基于Kubernetes的应用程序访问HDFS数据的组织暴露了安全漏洞。今天，LinkedIn以开源形式发布了新的Kube2Hadoop工具，弥补了这一安全漏洞变得更加容易。 LinkedIn运行着世界上最大的传统基于YARN的Hadoop集群之一，拥有4，500多个用户和500 PB的数据。多年来，这家微软公司拥有的业务已为其AI工作负载采用了其他框架，包括Kubernetes，它最初是Jupyter笔记本电脑的家，但此后一直在传播。
该公司似乎对将其Hadoop资产从YARN中移出并采用Kubernetes似乎没有兴趣，Kubernetes已成为基于云的Hadoop和Spark部署中越来越受欢迎的调度程序。这意味着其传统的（即基于YARN和HDFS的）Hadoop环境将需要与LinkedIn在Kubernetes上运行的新应用程序协调一致。 但是，有一个问题。 “默认情况下，Kubernetes和Hadoop的安全模型之间存在差距，” LinkedIn合著者Cong Gu，Abin Shahab，Chen Qiang和Hu Keqiu Hu在题为“开源Kube2Hadoop：安全地从HDFS进行访问”的博客文章中写道。Kubernetes。” LinkedIn作者解释说，Hadoop使用Kerberos，这是一种基于对称密钥加密技术的三方协议。为了避免频繁进行身份验证检查，Hadoop社区引入了一种轻量级的两方身份验证方法，称为委托令牌，以补充Kerberos身份验证。他们说，这些授权令牌的寿命为一天，最多可以续签七天。 LinkedIn的作者写道：“另一方面，Kubernetes使用基于证书的方法进行身份验证，并且不会在任何面向公众的API中公开工作的所有者。” “因此，不可能使用本地Kubernetes API从Pod内安全地确定授权用户，然后使用该用户名来获取用于HDFS访问的Hadoop授权令牌。” 为了弥合这一安全漏洞，LinkedIn开发了一项名为Kube2Hadoop的技术，该技术将Kubernetes的身份验证方法与Hadoop委托令牌相集成。Kube2Hadoop解决方案以一种尊重已实现的细粒度的基于角色的访问控制（RBAC）的方式来执行此操作，该控制用于控制用户对其广泛Hadoop资源的访问。 Kube2Hadoop由三个组件组成： Kubernetes居民Hadoop令牌服务，用于获取委托令牌; 每个工作容器中的一个初始化容器，用作客户端，用于发送请求以从Hadoop令牌服务中获取委托令牌。 一个IDDecorator，它编写部署为Kubernetes接纳控制器的经过身份验证的用户ID。 Kube2Hadoop允许在Kubernetes环境中工作的人们（例如在Juypter笔记本中开发机器学习算法的数据科学家）从HDFS访问数据而不会损害安全性。运作方式如下： 当Hadoop用户使用其现有Hadoop密码登录Hadoop网关时，该过程开始。用户从客户端身份验证服务接收凭据，该凭据用于在Hadoop网关上向Kubernetes集群提交作业。然后，Kubernetes集群使用证书对用户进行身份验证，并根据请求启动容器。 Kube2Hadoop初始化容器（附加到需要HDFS访问权限的每个工作器容器），然后将请求发送到Hadoop令牌服务以获取委托令牌。返回令牌后，令牌将被安装在容器中，从而为用户提供对驻留在HDFS中的数据的安全访问。LinkedIn表示，监视作业在作业完成时会取消令牌，并为长期运行的作业续签令牌。 LinkedIn表示，Kube2HDFS身份验证机制可抵抗特定攻击，包括在作业注释和Kubernetes吊舱中使用假用户名。但是，为了防止恶意的Kubernetes管理员不受限制地访问HDFS，LinkedIn建议从Kubernetes平台中分离出包含超级用户密钥表的Hadoop令牌服务。共同作者写道：“我们还建议将Kube2Hadoop中具有对HDFS的超级用户访问权限的用户/组帐户列入黑名单。” |
