首页 > 代码库 > hadoop完全分布式的搭建的理解

hadoop完全分布式的搭建的理解

hadoop完全分布式的搭建思路?

  1. jdk必须安装,所有机器都是一样的。环境变量是PATH,但是在配置PATH的时候,一定要加上.;这是系统原来的环境变量,如果不加这个,可能再次开不出机器。

  2. Hadoop安装,可以放在yarn,也可以不放在yarn,环境变量HADOOP_HOME,JAVA_HOME(这个主要是切换jdk来用的,j2ee就是这样的)

  3. 所有机器的host里面必须有对应的主机,各个子节点的IP地址,以及域名对应关系,则必须修改各个机器的hostname的域名,重启立马生效。

  4. 配置ssh协议,首先各个节点,先配置自己的,然后远程登录到自己,不需要登录密码

  5. 各个节点必须互通,则可以将各个节点的公钥都发给主节点,这就意味着所有所有节点都可以访问主机不需要秘钥,然后主机将所有发过来的秘钥加到自己的authorized_keys中,这就意味着所有节点的公钥都在此(包括主节点的)然后将其发送给各个节点,这样大家都拥有很多公钥,则都可以互访,为什么这么设计,为什么直接各个机器配好ssh,都互相复制下,不也一样,而且公钥只有一份,因为公钥里面携带了IP地址和用户名,就必须不一样,因为不同的IP地址。

  6. 配置好了之后,如何检测?

    可以检测它的namenode和mapreduce管理界面,一个是50070,一个是50030

本文出自 “简答生活” 博客,谢绝转载!

hadoop完全分布式的搭建的理解