首页 > 代码库 > hadoop环境安装准备

hadoop环境安装准备

一. 安装JDK, 并配置环境变量

准备安装文件: jdk-6u24-linux-i586.bin

1. 把安装文件移动到/usr/local目录下, 进入到/usr/local目录下, 通过"."解压文件:

2. 解压完成后, 我们可以查看到新产生的目录jdk1.6.0_24, 使用mv命令重命名为jdk, 目的是方便以后引用



3. 配置环境变量:   vi /etc/profile  增加以下内容:

export JAVA_HOME=/usr/local/jdk
export PATH=.:$PATH:$JAVA_HOME/bin

保存关闭后, 需要在shell环境下执行命令: source /etc/profile

解释: "$", 用于环境变量的引用; ":", 用于多个环境变量之间的连接; "source", 为了让文件中的设置立刻生效.


4. 使用java -version可以看到版本信息的话说明安装成功.


二. 关闭防火墙

sudo ufw disable  : 防火墙在系统启动时自动禁用 (ubantu)


三. 设置DNS解析

因为hadoop集群之间通过主机名互相访问, 所以必须设置dns解析

vi /etc/hosts

在文本最后追加一行:   192.168.56.101  hadoop0,   保存并关闭编辑器


四. 设置SSH免密码登陆

如果我们需要远程管理其他机器的话,一般使用远程桌面或者telnet。linxu 服务器几乎都是命令行,所以只能使用telnet 了。telnet 的缺点是通信不加密,非常不安全,只适合于内网访问。为解决这个问题,推出了加密的通信协议,即SSH。SSH 的全称是Secure Shell,使用非对称加密方式,传输内容使用rsa 或者dsa 加密,可以有效避免网络窃听。
hadoop 的进程之间通信使用ssh 方式,需要每次都要输入密码。为了实现自动化操作,我们下面配置SSH 的免密码登录方式。


1. 执行命令, 生成密钥: ssh -keygen -t rsa

该命令表示使用rsa加密方式生成密钥, 回车后, 会提示三次输入信息, 我们直接回车即可.


2. 进入密钥文件夹: cd .ssh/

cp id_rsa.pub authorized_keys  用于生成授权文件.


3. 验证ssh无密码登陆:

执行“ssh localhost”意味着使用“ssh”通信协议访问主机“localhost”,第一次执行时需要确认;第二次不再确认了。这就是无密码登录。

当登录到对方机器后,退出使用命令“exit”。这两次操作时,注意观察主机名变化。


hadoop环境安装准备