首页 > 代码库 > 安装高可用Hadoop生态 （一 ） 准备环境

安装高可用Hadoop生态 （一 ） 准备环境

2024-08-27 15:16:13   218人阅读

为了学习Hadoop生态的部署和调优技术，在笔记本上的3台虚拟机部署Hadoop集群环境，要求保证HA，即主要服务没有单点故障，能够执行最基本功能，完成小内存模式的参数调整。

1.    准备环境

1.1. 规划

  • 克隆3台服务器，主机名和IP如下

主机名

IP

软件

hadoop

192.168.154.128

原始虚拟机用于克隆

hadoop1

192.168.154.3

Zookeeper,journalnode Namenode, zkfc, Resourcemanager

hadoop2

192.168.154.4

Zookeeper,journalnode Namenode, zkfc, Resourcemanager, DataNode,NodeManager

hadoop3

192.168.154.5

Zookeeper,journalnode DataNode,NodeManager
  • 设置每台服务器的域名解析
vi /etc/hosts
127.0.0.1    localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.154.3 hadoop1[1]
192.168.154.4 hadoop2
192.168.154.5 hadoop3

1.2. 准备软件包

名称

描述

ssh_auth

设置互信的工具包

C3

集群管理效率工具，在集群范围执行shell命令

hadoop-2.7.3.tar.gz

hadoop安装包

zookeeper-3.4.9.tar.gz

zookeeper安装包

1.3. 设置互信

采用设置互信的工具,解压文件到目录

vi ./host
hadoop1
hadoop2
hadoop3

执行命令

./ssh_auth.sh hadoop hadoop ./host

验证：在hadoop1，hadoop2，hadoop3上分别登录三台机器，如果无需密码进入则正常

ssh hadoop1 
exit

ssh hadoop2
exit

ssh hadoop3
exit

为了操作简单，也设置root用户的互信

./ssh_auth.sh root xxxxxx ./host

xxxxxx为root用户的密码

1.4. 安装C3

    C3是Cluster Command & Control (C3) Tool Suite，是集群管理的效率工具，用于在集群服务器上通过ssh并行或者串行执行相同的命令。在Centos7上安装报告与filesystem-3.2-20.el7.x86_64冲突，所以需要强行安装，命令如下：    

rpm -i c3-5.1.3-0.1.noarch.rpm --nodeps --force

    安装完成后，在使用C3的节点创建/etc/c3.conf文件。内容如下：

cluster cloud {
        hadoop1:127.0.0.1 #head node
        dead remove-index-00
        hadoop1
        hadoop2
        hadoop3
}

验证：切换回hadoop用户，执行cexec date

************************* cloud *************************
--------- hadoop1---------
××××××××××
--------- hadoop2---------
××××××××××
--------- hadoop3---------
××××××××××

1.5. 创建目标目录

切换到root用户 (用su -，使得root的环境变量起作用)

cexec mkdir -p /opt/cloud
cexec chown hadoop:hadoop /opt/cloud

切换到hadoop用户

#软件包的安装（解压缩的目标）目录
cexec mkdir -p /opt/cloud/packages

#执行目录，是与安装包目录的软连接
cexec mkdir -p /opt/cloud/bin

#配置文件目录，是与安装包目录中配置文件目录的软连接
cexec mkdir -p /opt/cloud/etc

#数据目录
cexec mkdir -p /opt/cloud/data

#日志目录
cexec mkdir -p /opt/cloud/logs

1.6. 配置Java环境

vi ~/.bashrc

增加

export JAVA_HOME=/usr/lib/jvm/java
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:$JRE_HOME/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH

即刻生效

source ~/.bashrc

复制到另外两台服务器

scp ~/.bashrc hadoop2:/home/hadoop
scp ~/.bashrc hadoop3:/home/hadoop

[1] 增加 hadoop1 hadoop2的ip映射

安装高可用Hadoop生态 （一 ） 准备环境


联系
我们