首页 > 代码库 > hadoop完全分布式的搭建的理解
hadoop完全分布式的搭建的理解
hadoop完全分布式的搭建思路?
jdk必须安装,所有机器都是一样的。环境变量是PATH,但是在配置PATH的时候,一定要加上.;这是系统原来的环境变量,如果不加这个,可能再次开不出机器。
Hadoop安装,可以放在yarn,也可以不放在yarn,环境变量HADOOP_HOME,JAVA_HOME(这个主要是切换jdk来用的,j2ee就是这样的)
所有机器的host里面必须有对应的主机,各个子节点的IP地址,以及域名对应关系,则必须修改各个机器的hostname的域名,重启立马生效。
配置ssh协议,首先各个节点,先配置自己的,然后远程登录到自己,不需要登录密码
各个节点必须互通,则可以将各个节点的公钥都发给主节点,这就意味着所有所有节点都可以访问主机不需要秘钥,然后主机将所有发过来的秘钥加到自己的authorized_keys中,这就意味着所有节点的公钥都在此(包括主节点的)然后将其发送给各个节点,这样大家都拥有很多公钥,则都可以互访,为什么这么设计,为什么直接各个机器配好ssh,都互相复制下,不也一样,而且公钥只有一份,因为公钥里面携带了IP地址和用户名,就必须不一样,因为不同的IP地址。
配置好了之后,如何检测?
可以检测它的namenode和mapreduce管理界面,一个是50070,一个是50030
本文出自 “简答生活” 博客,谢绝转载!
hadoop完全分布式的搭建的理解
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。