首页 > 代码库 > Hadoop2.7.3分布式环境准备

Hadoop2.7.3分布式环境准备

2024-08-23 05:34:37   222人阅读

一.安装CentOS7
CentOS-7-x86_64-DVD-1511.iso
下载地址：
http://vault.centos.org/
省略CentOS7安装部分
1.1 查看版本：
技术分享
1.2 网络配置
主机名IP
hadoop0192.168.1.111
hadoop1192.168.1.112
hadoop2192.168.1.113

二.普通用需添加sudo 权限
2.1.从普通用户切换到root用户：
#su - root  
技术分享
 2.2.运行visudo命令：
在root    ALL=(ALL)       ALL 下添加
用户名    ALL=(ALL)       ALL
技术分享
三.修改主机名称
3.1 各主机名修改
hadoop0
# vi /etc/sysconfig/network

NETWORKING=yes

NETWORKING_IPV6=no

HOSTNAME=hadoop0

# hostname hadoop0
hadoop1
# vi /etc/sysconfig/network

NETWORKING=yes

NETWORKING_IPV6=no

HOSTNAME=hadoop1

# hostname hadoop1
hadoop2
# vi /etc/sysconfig/network

NETWORKING=yes

NETWORKING_IPV6=no

HOSTNAME=hadoop2

# hostname hadoop2
3.2 时间同步
# yum install -y ntp #安装ntp服务
#ntpdate cn.pool.ntp.org#同步网络时间    
四.关闭防火墙
   由于centos从7开始默认用的是firewalld，这个是基于iptables的，虽然有iptables的核心，但是iptables的服务是没安装的。所以你只要停止firewalld服务即可： 
sudo systemctl stop firewalld
如果你要改用iptables的话，需要安装iptables服务： 
sudo yum install iptables-services 
sudo systemctl enable iptables && sudo systemctl enable ip6tables 
sudo systemctl start iptables && sudo systemctl start ip6tables
五.设置DNS解析
# sudo vim /etc/hosts 
192.168.1.111 hadoop0
192.168.1.112 hadoop1
192.168.1.113 hadoop2
技术分享
 六.SSH免密码登录
分别在hadoop0,hadoop1,hadoop2上执行：
#  ssh-keygen -t rsa
使用rsa加密方式生成秘钥，回车后提示输入信息直接按回车三次技术分享
设置权限:

# chown lsq: ~/.ssh

# chown lsq: ~/.ssh/*

# chmod 700 ~/.ssh 

# chmod 600 ~/.ssh/*

 【注意：如果多次执行ssh，每次都需要确认，可能时配置失败，可以删除文件夹“.ssh”重新配置，如果还不行可以删除/etc/udev/rules.d/70-persistent-net.rules 文件重启系统】

在hadoop1上
# cp ~/.ssh/id_rsa.pub ~/.ssh/hadoop1.id_rsa.pub

# scp ~/.ssh/hadoop1.id_rsa.pub hadoop0:~/.ssh 

在hadoop2上
# cp ~/.ssh/id_rsa.pub ~/.ssh/hadoop2.id_rsa.pub
# scp ~/.ssh/hadoop2.id_rsa.pub hadoop0:~/.ssh 
在 hadoop0上
        # cd ~/.ssh

# cat id_rsa.pub >> authorized_keys

# cat hadoop1.id_rsa.pub >>authorized_keys

# cat hadoop2.id_rsa.pub >>authorized_keys

# scp authorized_keys hadoop1:~/.ssh

# scp authorized_keys hadoop2:~/.ssh

七.安装JDK
jdk1.8 百度云下载地址：
http://pan.baidu.com/s/1i5v4qk1  密码：m9qs
jdk版本：
jdk-8u101-linux-x64.tar.gz
    
7.1 在/usr/local下 解压jdk：
      # sudo tar -xzvf jdk-8u101-linux-x64.tar.gz
      # sudo mv ./jdk1.8.0_101/ jdk1.8
 
7.2 各个主机之间复制jdk

# scp -r /usr/local/jdk1.8 hadoop1:/usr/local/

# scp -r /usr/local/jdk1.8 hadoop2:/usr/local/

7.3 配置环境变量：
      # sudo vim /etc/profile
       加如下变量
  1. export JAVA_HOME=/usr/local/jdk1.8
  2. export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
  3. export PATH=$JAVA_HOME/bin:$PATH
技术分享
7.4 使配置立即生效
      # source /etc/profile 
7.5 检查各个节点上JDK是否安装成功
      # java -version
技术分享
  
至此开发环境搭建完工。










来自为知笔记(Wiz)


Hadoop2.7.3分布式环境准备


联系
我们