首页 > 代码库 > Hadoop安全机制之令牌

Hadoop安全机制之令牌

介绍

Hadoop中的安全机制包括认证和授权。而Hadoop RPC中采用SASL(Simple Authentication and Security Layer,简单认证和安全层)进行安全认证,具体认证方法涉及Kerberos和DIGEST-MD5两种。

      在这种机制中,Kerberos用于在客户端和服务器端之间建立一条安全的网络连接,之后客户端可通过该连接从服务器端获取一个密钥。由于该密钥仅有客户端和服务器端知道,因此,接下来客户端可使用该共享密钥获取服务的认证。使用共享密钥进行安全认证(使用DIGEST-MD5协议)有多方面的好处:由于它只涉及认证双方而不必涉及第三方应用(比如Kerberos中的KDC),因此安全且高效;客户端也可以很方便地将该密钥授权给其他客户端,以让其他客户端安全访问该服务。我们将基于共享密钥生成的安全认证凭证称为令牌(Token)。在Hadoop中,所有令牌主要由identifier和password两部分组成,其中,identifier包含了该令牌中的基本信息,而password则是通过HMAC-SHA1作用在identifier和一个密钥上生成的,该密钥长度为20个字节并由Java的SecureRamdom类生成。Hadoop中共有三种令牌:委托令牌、块访问令牌和作业令牌。

委托令牌(Delegation Token)

      授权令牌主要用于NameNode为客户端进行认证。当客户端初始访问NameNode时,如果通过Kerberos认证,则NameNode会为它返回一个密钥,之后客户端只需借助该密钥便可进行NameNode认证。为了防止重启后密钥丢失,NameNode将各个客户端对应的密钥持久化保存到镜像文件中。默认情况下,所有密钥每隔24小时更新一次,且NameNode总会保存前7小时的密钥以保证之前的密钥可用。

数据块访问令牌(Block Access Token)

      数据块访问令牌主要用于DataNode、SecondaryNameNode和Balancer为客户端存取数据块进行认证。当客户端向NameNode发送文件访问请求时,如果通过NameNode认证以及文件访问权限检查,则NameNode会将该文件对应的数据块位置信息和数据块访问密钥发送给客户端,客户端需凭借数据块访问密钥才可以读取一个DataNode上的数据块。NameNode会通过心跳将各个数据块访问密钥分发给DataNode、SecondaryNameNode和Balancer。需注意的是,数据块访问密钥并不会持久化保存到磁盘上,默认情况下,它们每隔10小时更新一次并通过心跳通知各个相关组件。

作业令牌(Job Token)

      作业令牌主要用于TaskTracker对任务进行认证。用户提交作业到JobTracker后,JobTracker会为该作业生成一个作业令牌,并写到该作业对应的HDFS系统目录下。当该作业的任务调度到各个TaskTracker上后,将从HDFS上获取作业令牌。该令牌可用于任务与TaskTracker之间进行相互认证(比如Shuffle阶段的安全认证)。与数据块访问令牌一样,作业令牌也不会持久化保存到内存中,一旦JobTracker重新启动,就会生成新的令牌。由于每个作业对应的令牌已经写入HDFS,所以之前的仍然可用。

优势  

      相比于单纯使用Kerberos,基于令牌的安全认证机制有很多优势,具体如下。

?性能:在Hadoop集群中,同一时刻可能有成千上万的任务正在运行。如果我们使用Kerberos进行服务认证,则所有任务均需要KDC中AS提供的TGT,这可能使得KDC成为一个性能瓶颈,而采用令牌机制则可避免该问题。

?凭证更新:在Kerberos中,为了保证TGT或者服务票据的安全,通常为它们设置一个有效期,一旦它们到期,会对其进行更新。如果直接采用Kerberos验证,则需要将更新之后的TGT或者服务票据快速推送给各个Task,这必将带来实现上的烦琐。如果采用令牌,当令牌到期时,只需延长它的有效期而不必重新生成令牌。此外,Hadoop允许令牌在过期一段时间后仍可用,从而为过期令牌更新留下足够时间。

?安全性:用户从Kerberos端获取TGT后,可凭借该TGT访问多个Hadoop服务,因此,泄露TGT造成的危害远比泄露令牌大。

?灵活性:在Hadoop中,令牌与Kerberos之间没有任何依赖关系,Kerberos仅仅是进行用户身份验证的第一道防线,用户完全可以采用其他安全认证机制替换Kerberos。因此,基于令牌的安全机制具有更好的灵活性和扩展性。

Hadoop安全机制之令牌