首页 > 代码库 > 64位Ubuntu14.04安装hadoop2.6.0

64位Ubuntu14.04安装hadoop2.6.0

2024-11-25 13:04:39   203人阅读

在前文中，编译hadoop 是我们几乎已经配置好了jdk环境

这一文是在上文的基础上继续配置

1、将编译好的源码中的一些文件复制到我们所下载的hadoop/lib/native下替换掉

主要是因为下载的hadoop文件是在32位系统下编译的，而本人的是64位系统

2、配置ssh无密码登陆

ssh生成密钥有rsa和dsa两种生成方式，默认情况下采用rsa方式。

1. 创建ssh-key，，这里我们采用rsa方式;

ssh-keygen -t rsa -P ""

2. 进入~/.ssh/目录下，将id_rsa.pub追加到authorized_keys授权文件中，开始是没有authorized_keys文件的;

cd ~/.ssh  cat id_rsa.pub >> authorized_keys

3. 登录localhost;

ssh localhost

登陆后的信息如下：

Welcome to Ubuntu 14.04.1 LTS (GNU/Linux 3.13.0-32-generic x86_64) * Documentation:  https://help.ubuntu.com/274 packages can be updated.118 updates are security updates.Last login: Mon Feb  2 09:54:04 2015 from master

4. 执行退出命令;

exit

3、将hadoop文件夹复制到/usr/local/

4、配置环境变量

sudo gedit ~/.bashrc

在文件尾添加如下代码

export HADOOP_INSTALL=/usr/local/hadoop    export PATH=$PATH:$HADOOP_INSTALL/bin    export PATH=$PATH:$HADOOP_INSTALL/sbin    export HADOOP_MAPRED_HOME=$HADOOP_INSTALL    export HADOOP_COMMON_HOME=$HADOOP_INSTALL    export HADOOP_HDFS_HOME=$HADOOP_INSTALL    export YARN_HOME=$HADOOP_INSTALL    export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native    export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

执行生效

source ~/.bashrc

5、修改一下配置文件

sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh

将JAVA_HOME改为/usr/local/eclipse

点击保存退出

6、测试

进入hadoop文件夹目录

执行

bin/hadoop namenode -format

然后新建一个输入目录，执行wordcount程序

mkdir input  cp README.txt input
 bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.6.0-sources.jar org.apache.hadoop.examples.WordCount input output

执行 cat output/*，查看字符统计结果

 

问题

1.ssh中“Host key verification failed.“

/etc/ssh/ssh_config）中配置：

StrictHostKeyChecking no

将ask 改为 no

并取消注释

 

 

64位Ubuntu14.04安装hadoop2.6.0


联系
我们