首页 > 代码库 > 从Hadoop 安全机制原理到当今主流安全机制
从Hadoop 安全机制原理到当今主流安全机制
在Hadoop Common模块中除了之前我所分析过的4大主模块,还有一个也同样是非常重要的内容,就是Security---安全模块。不过,我只是简单的分析他的实现机制,并不会涉及代码的分析。同时,我会通过对于Hadoop中采取的安全机制方法延伸到当下主流的一些安全认证方法,比如LDAP,SSL,Oauth Token等等。、
1)Hadoop Security
Hadoop的Security是如何运作的呢,当然首先看看他的目录结构。下面是我截的一张图:
最频繁出现的关键词是Token(令牌),那这个也就是后面一定会提及到的东西了。了解过Hadoop RPC源代码的人一定知道他在那里使用的是一种叫做SASL的认证机制,(什么叫认证机制呢,你可以类比与我们所说的JAAS,java授权服务),,中文名为简单认证和安全层,SASL是一种用来扩充C/S模式验证能力的认证机制。SASL的认证方法可以采用多种的认证方法,有以下几种:
1.Anonymous:无须认证
2.Plain,采用base64位加密明文传输,没有用到加密算法
3.Digest-Md5,采用基于MD5提供的安全服务
4.Kerberos认证方法。这个也是Hadoop中最最主要的认证方法。
Hadoop中采用的就是4或者3+4的方法进行安全的认证服务的。所以重点分析什么叫做Kerberos,Kerberos是一种网络认证协议,作为可信任的第三认证服务。如果你要去请求服务,你要获取2个票据,1个叫许可票据,1个叫服务票据,去服务器请求服务之前,你必须拥有服务票据,但是你要去请求服务票据的时候,你又必须拥有许可票据,就是许可你去请求服务票据,拿到了这2个票据,你才能够有资格去真实服务器上去请求服务。下面是一张模拟图;
跟待会会说到的Oauth认证挺像的。但是在Hadoop中,你单单通过Kerberos认证还不够,你还有获取一些Token令牌。至少在在访问某些节点时,你要有一下3类Token:
下面我们做一个延生,另一个与此非常相似的机制。
OAuth认证
OAuth ,全称,Open Authorization,开放授权,用于第三方授权服务的,系统可以无须知道用户的账号,密码,就能获取用户的授权信息,比如网上的各种第三登录啦,都是这种机制。我举一个QQ授权登录的例子;
第三步就是你自己输自己的QQ密码账号的时候,登录成功了就会把信息返给第三机构,我以Csdn的QQ登录我例子:
类似淘宝登录,新浪微博登录都是一个道理。我们上述2种方法的异同点,相同的是都有一个第三机构,1个是通过第三机构给予服务票据,用户拿着服务票据请求真实资源,1个是等待用户授权,授权成功后,授权机构返回请求方授权信息,细细品味,二者在这上面的原理确实不太一样。
2)LDAP
下面从SASL转移到一种常见的安全认证机制JAAS,在JAAS中同样可以集成很多的认证方法,比如说我这里将会说的LDAP(轻量级目录访问协议),LDAP是一种提供目录服务的信息服务。目录服务是一种特殊的数据库系统,采用了树形的存储结构,针对读取操作,做了特定的优化,但是不支持更新等这样的写操作。因为LDAP目录服务采用的不是一般的关系数据库的,建表,分字段的类型存储,他通过一个个条目,(相当于数据库中的Record记录),保存早树中的数据结构中。先看一个简化的存储模型:
跟结点是顶级域名,然后通过此往下找,最后一层就是所找的内容,这很类似于B树索引的方式,所以LDAP采用的是文件数据库,通过文件索引的形式提高检索效率。目前流行LDAP服务的实现由OpenLDAP,有兴趣的可以自己安装试试此服务。
3)SSL,Https
在这里最后介绍的一种安全认证方法是SSL,Secure Socket Layer(安全套接字层),SSL+Http=Https了所以说Https就是加了密的Http协议。SSL的实现比较复杂,我就简单的说说第一步,第一步客户端和服务端之间协商加密算法:
这个过程一结束,大家把自己的信息进行了交互了之后,就基本确定了加密的算法,后续的各种之间的认证就开始了,在上面的第4步,服务端会把自己的服务器证书作为额外信息发给客户端,然后客户端会想认证机构核实此服务器证书的真实性,这叫做单向认证,有的时候,对于安全性要求更高的,还会要求提供客户端的证书,这样就是安全性更高的双向认证,可能而知,里面经过的流程那么多,网站的响应速度肯定比普通的浏览网站的时间更长一点了。
4)总结
主要讲了安全的4种机制,在安全的领域,就是4个字攻击和防守,魔高一尺,道高一丈,没有绝对的安全。
从Hadoop 安全机制原理到当今主流安全机制