首页 > 代码库 > 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第二步)(2)
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第二步)(2)
进入第二台机器,看一下这台主机的IP地址:
可以看出这台主机的IP地址是“192.168.184.131”.
我们在/etc/hostname中把主机名称修改为“Slave1”:
保存退出。
为了使修改生效,我们重新启动该机器,此时查看主机名:
表明我们的修改生效了。
进入第三台机器,看一下这台主机的IP地址:
可以看出这台主机的IP地址是“192.168.184.132”.
我们在/etc/hostname中把主机名称修改为“Slave2”:
保存退出。
为了使修改生效,我们重新启动该机器,此时查看主机名:
表明我们的修改生效了。
现在, Slave1上的/etc/hosts中配置主机名和IP地址的对应关系,打开后:
此时我们修改为配置文件为:
把“Master”和“Slave1”和“Slave2”的主机名和IP地址的对应关系都配置进去。保存退出。
我们此时ping一下Master这个节点发现网络访问没有问题:
接着,在 Slave2上的/etc/hosts中配置主机名和IP地址的对应关系,配置完后如下:
保存退出。
此时我们ping一下Master和Slave1发现都可以ping通;
最后把在 Master上的/etc/hosts中配置主机名和IP地址的对应关系,配置完后如下:
此时在Master上使用ping命令和Slave1和Slave2这两台机器进行沟通:
发现此时已经ping通了两个slave节点的机器。
最后我们在测试一下Slave1这台机器和Master、Slave2的通信:
到目前为止,Master、Slave1、Slave2这三台机器之间实现了相互通信!
Step 2:SSH无密码验证配置
首先我们看一下在没有配置的情况下Master通过SSH协议访问Slave1的情况:
此时会发现我们是需要密码的。我们不登陆进去,直接退出。
怎么使得集群能够通过SSH免登陆密码呢?
按照前面的配置,我们已经分布在Master、Slave1、Slave2这三台机器上的/root/.ssh/目录下生成一个私钥id_rsa和一个公钥id_rsa.pub。
此时把Slave1的id_rsa.pub传给Master,如下所示:
同时把Slave2的id_rsa.pub传给Master,如下所示:
在Master上检查一下是否复制了过来:
此时我们发现Slave1和Slave2节点的公钥已经传输过来
Master节点上综合所有公钥:
将Master的公钥信息authorized_keys复制到Slave1和Slave1的.ssh目录下:
此时再次通过SSH登录Slave1和Slave2:
此时Master通过SSH登录Slave1和Slave2已经不需要密码,同样的Slave1或者Slave2通过SSH协议登录另外两台机器也不需要密码了。
Step 3:修改Master、Slave1、Slave2的配置文件
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第二步)(2)