1.提出问题

     在上篇博文中，提到了为什么要配置ssh免密码登录，说是Hadoop控制脚本依赖SSH来执行针对整个集群的操作，那么Hadoop中控制脚本都是什么东西呢？具体是如何通过SSH来针对整个集群的操作？网上完全分布模式下Hadoop的搭建很多，可是看完后，真的了解吗？为什么要配置Hadoop下conf目录下的masters文件和slaves文件，masters文件里面主要记录的是什么东西，slaves文件中又记录的是什么东西，masters文件和slaves文件都有什么作用？好，我看到过一篇配置文件是这样的，namenode、辅助namenode节点在一个主机上，jobtracker节点在另一台主机上！当时他是这么配置的，将namenode(辅助namenode)和jobtracker主机的ip都加到了masters文件中，这样配下来虽然不会报错，可是，并没有理解masters的作用！！

2.记录一下几个知识点

     <1>Hadoop中的控制脚本到底有哪些

     <2>查看一些主要的控制脚本，看看都是什么作用

     <3>为什么要配置ssh免密码登录

     <4>Hadoop中conf目录下的masters文件和slaves文件该写什么，有什么作用？

3.Hadoop中的控制脚本

     配置过Hadoop的人都知道，不管是伪分布式，还是完全分布式，最后一步都是start-all.sh，没错，这个命令就属于控制脚本。

     我们可以从Hadoop的bin目录下面查看Hadoop中的控制脚本，如下图所示，start-all.sh、start-dfs.sh等。

4.Hadoop一些重要的脚本

     我们可以在命令行下通过cat指令来查看脚本文件，看看都有什么作用：
     <1>start-all.sh脚本

            这个控制脚本毋庸置疑，安装过Hadoop的都知道，安装完最后一步，就是start-all.sh

            分析，可以得到，这个里面主要又包含了三个控制脚本：

            (1)hadoop-config.sh              

            (2)start-dfs.sh 

            (3)start-mapred.sh

            这三个控制脚本也属于Hadoop的控制脚本，在3.Hadoop中的控制脚本可以看到，所以，start-all.sh其

            实是让上面那三个脚本运行，再来看看上面那三个脚本

     <2>start-dfs.sh脚本

            我们再来通过指令cat来看看start-dfs.sh的内容，看看它有什么作用

            可以看到，这个控制脚本，也调用了别的控制脚本，分析后面的内容:

            (1)hadoop-daemon.sh --start namenode  根据内容，知道这个是开启namenode守护进程

            (2)hadoop-daemons.sh --start datanode  根据内容，知道这个是开启datanode守护进程

            (3)hadoop-daemons.sh --start secondarynamenode 根据内容，知道这个是开启辅助namenode守

                                                                                                 护进程

            所以，start-dfs.sh的作用就是调用控制脚本hadoop-daemon.sh和hadoop-daemons.sh！那么再来看

            看这两个脚本是干什么的

     <3>start-daemon.sh脚本

            同上面一样，我们用cat查看这个脚本，一堆脚本程序，大致的意思就是：主要是生成namenode 的日  

            志文件，然后将具体的操作请求转发给 org.apache.hadoop.hdfs.server.namenode.NameNode 这个

            类。

     <4>start-daemons.sh脚本

            用cat查看这个脚本

           启动datenode时，调用slaves.sh 同时将本地的hadoop_home传递过去,所以说slaves和master的

           hadoop路径要一致了

           启动辅助namenode时将具体的请求转发给

           org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode这个类 

           OK，再看看salves.sh做了什么

     <5>slaves.sh脚本

            (1)读取slaves文件里ip配置

            (2)ssh每个slave机器

            (3)到Hadoop_HOME目录下

            (4)执行hadoop-daemon.sh脚本

            (5)传递的启动参数为 start datenode

            (6)使用conf文件为slave机器HADOOP_HOME下的

            再看看slaves机器上的执行情况，其实是把请求转交给了

            org.apache.hadoop.hdfs.server.datanode.DataNode这个类来处理了。

     <6>start-mapred.sh脚本

            (1)hadoop-config.sh                //mapreduce的配置相关

            (2)hadoop-daemn.sh              //start jobtracker

            (3)hadoop-daemons.sh          //start tasktracker

            再看对mapred的处理，其实是把请求转给一下两个类。

            org.apache.hadoop.mapred.JobTracker     //master机器上

            org.apache.hadoop.mapred.TaskTracker   //slaves机器上
5.为什么ssh要免密码登录

   通过上面对控制脚本的分析，我们大致知道了，当在执行start-all.sh或者start-dfs.sh脚本的时候，最终都会调用slaves.sh控制脚本，这个脚本根据slaves文件中的ip地址，通过ssh远

   程登陆到datenode,并启动 datenode守护进程，如果每次都需要手动输入密码，数千台计算机，很不可能，所以，我们要实现ssh免密码登录 

6.Hadoop中conf目录下面的masters和slaves文件

   在配置Hadoop分布式文件系统的时候，会让你配置masters和slaves这两个文件，那么这两个文件都有什么作用，里面都记录什么？

   masters文件主要记录运行辅助namenode的所有机器。

   slaves文件主要记录了运行datanode和tasktracker的所有机器。

   有些人把masters文件，当作是记录所有masters主节点的ip，这么的话，jobtracker，namenode、辅助namenode上面都会启动辅助namenode守护进程，这并不是用户的初衷      

Hadoop中的控制脚本