首页 > 代码库 > hadoop环境安装准备
hadoop环境安装准备
一. 安装JDK, 并配置环境变量
准备安装文件: jdk-6u24-linux-i586.bin
1. 把安装文件移动到/usr/local目录下, 进入到/usr/local目录下, 通过"."解压文件:
2. 解压完成后, 我们可以查看到新产生的目录jdk1.6.0_24, 使用mv命令重命名为jdk, 目的是方便以后引用
3. 配置环境变量: vi /etc/profile 增加以下内容:
export JAVA_HOME=/usr/local/jdk
export PATH=.:$PATH:$JAVA_HOME/bin
保存关闭后, 需要在shell环境下执行命令: source /etc/profile
解释: "$", 用于环境变量的引用; ":", 用于多个环境变量之间的连接; "source", 为了让文件中的设置立刻生效.
4. 使用java -version可以看到版本信息的话说明安装成功.
二. 关闭防火墙
sudo ufw disable : 防火墙在系统启动时自动禁用 (ubantu)
三. 设置DNS解析
因为hadoop集群之间通过主机名互相访问, 所以必须设置dns解析
vi /etc/hosts
在文本最后追加一行: 192.168.56.101 hadoop0, 保存并关闭编辑器
四. 设置SSH免密码登陆
如果我们需要远程管理其他机器的话,一般使用远程桌面或者telnet。linxu 服务器几乎都是命令行,所以只能使用telnet 了。telnet 的缺点是通信不加密,非常不安全,只适合于内网访问。为解决这个问题,推出了加密的通信协议,即SSH。SSH 的全称是Secure Shell,使用非对称加密方式,传输内容使用rsa 或者dsa 加密,可以有效避免网络窃听。
hadoop 的进程之间通信使用ssh 方式,需要每次都要输入密码。为了实现自动化操作,我们下面配置SSH 的免密码登录方式。
1. 执行命令, 生成密钥: ssh -keygen -t rsa
该命令表示使用rsa加密方式生成密钥, 回车后, 会提示三次输入信息, 我们直接回车即可.
2. 进入密钥文件夹: cd .ssh/
cp id_rsa.pub authorized_keys 用于生成授权文件.
3. 验证ssh无密码登陆:
执行“ssh localhost”意味着使用“ssh”通信协议访问主机“localhost”,第一次执行时需要确认;第二次不再确认了。这就是无密码登录。
当登录到对方机器后,退出使用命令“exit”。这两次操作时,注意观察主机名变化。
hadoop环境安装准备