首页 > 代码库 > CentOS 6.5 伪分布安装

CentOS 6.5 伪分布安装

CentOS 6.5 伪分布安装

软件准备  jdk-6u24-linux-i586.bin 、hadoop-1.2.1.tar.gz、hadoop-eclipse-plugin-1.2.1.jar 、

         Eclipse-jee-indigo-SR2-linux-gtk.tar.gz

假设:  所有软件压缩包都放在  /home/hadoop 文件夹下。

 

1、JDK安装


1.1           root用户登录,使用命令 mkdir  /usr/local/program 新建目录program,用来存放jdk,本教材采用jdk版本 jdk-6u24-linux-i586.bin。


1.2 (如事先jdk在hadoop目录下,则可以采用命令 cp /home/hadoop/ jdk-6u24-linux-i586.bin /usr/local/program/  进行复制)。



 

1.3 对jdk进行解压

进入 /usr/local/program/ 目录下,使用命令 ./jdk-6u24-linux-i586.bin进行解压。


解压成功:


会出现注册界面,可以直接跳过:


1.4 可以选择删除 jdk的bin包,命令如下:

rm  -rf jdk-6u24-linux-i586.bin.



 

1.5 配置jdk

Root 用户登录,执行命令  vim  /etc/profile    (/etc/profile这个文件很重要,后面hadoop配置也会用到)。  按键盘i键,进行插入。

在后面添加如下:

 #set javaenvironment

exportJAVA_HOME=/usr/local/program/jdk1.6.0_24

exportJRE_HOME=/usr/local/program/jdk1.6.0_24/jre

exportCLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

exportPATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

 

按 Esc+(shift+;)+wq  保存退出。

退出后输入 source  /etc/profile   是配置生效。


 

配置完成后,在命令行中输入java  -version 查看是否配置成功。

 


2、SSH无密码验证

2.1       root权限下,输入rpm –qa | grep openssh 命令看看 ssh和rsync是否安装。


2.2       生成无密码密钥对

使用ssh-kaygen –t rsa –P ‘ ‘ 命令


第一次验证不是这样,我这是第二次了,所以有overwrite,不过没关系,我只是演示一下。

2.3       把 id_rsa.pub追加到授权key里面去

命令  cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys


 

2.4  验证是否配置成功

   输 ssh  localhost 命令,看是否可以无密码进行登录。


不需要输入密码,只需要输入 yes 即配置成功。



3、hadoop安装

  3.1 把hadoop拷到 opt 目录下,如果之前hadoop在hadoop目录下,执行命令进行拷贝    cp /home/hadoop/hadoop-1.2.1.tar.gz  /usr/local/ 



3.2 进入 hadoop目录,对hadoop进行解压。

 cd  /usr/local/                 tar -zxvf hadoop-1.2.1.tar.gz


解压完毕:


3.3 配置环境变量

  命令  vim  /etc/profile

输入   #set hadoop

      export HADOOP_HOME=/usr/local/hadoop-1.2.1

      export PATH=$PATH:$HADOOP_HOME/bin

退出  输入 source /etc/profile 使配置文件生效。

 

 

3.4 配置hadoop 配置文件

 命令  cd /usr/local/hadoop-1.2.1/conf   进入conf目录

3.4.1 配置 hadoop-env.sh 文件

打开文件命令   vim  hadoop-env.sh

添加           #setjava environment

               export JAVA_HOME=/usr/local/program/jdk1.6.0_24

编辑后保存退出。


 

下面三个文件配置非常重要!!!

3.4.2       配置core-site.xml  文件

<?xmlversion="1.0"?>

<?xml-stylesheettype="text/xsl" href="http://www.mamicode.com/configuration.xsl"?>

<!--Put site-specific property overrides in this file. -->

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:9000/</value>注:9000后面的“/”不能少

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/usr/local/hadoop-1.2.1/hadooptmp</value>

</property>

</configuration>


3.4.3       配置 hdfs-site.xml  文件

<?xmlversion="1.0"?>

<?xml-stylesheettype="text/xsl" href="http://www.mamicode.com/configuration.xsl"?>

<!--Put site-specific property overrides in this file. -->

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.permissions</name>

<value>false</value>

</property>

</configuration>

 

3.4.4       配置 mapred-site.xml   文件

<?xmlversion="1.0"?>

<?xml-stylesheettype="text/xsl" href="http://www.mamicode.com/configuration.xsl"?>

<!--Put site-specific property overrides in this file. -->

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>localhost:9001</value>

</property>

</configuration>

 

配置以上三个文件一定要注意,千万不能写错了!!!

 

3.4.5 配置 masters文件和slaves文件

[root@masterconf]# vim masters

localhost

[root@masterconf]# vim slaves

localhost

注:因为在伪分布模式下,作为 master 的 namenode 与作为 slave 的 datanode 是同一台

服务器,所以配置文件中的 ip 是一样的。

 

3.4.6  主机名和IP 解析设置 (这一步非常重要)

   命令   vim  /etc/hosts



3.4.7 编辑主机名

命令  vim  /etc/hostname

      vim  /etc/sysconfig/network


 

 

 

 

 

 

 

4、启动 hadoop

 命令  cd  /usr/local/hadoop-1.2.1/bin   进入bin目录

先格式化  命令  hadoop namenode  -format


启动     命令   start-all.sh         

查看   jps

 

 

 

 

5、安装 eclipse

5.1 把eclipse 拷到opt文件夹下

  命令 cp /home/hadoop/ecipse-jee-indigo-SR2-linux-gtk.tar.gz  /opt


 

5.2 对eclipse 进行解压

 

解压成功

 

5.3  插入插件hadoop-eclipse-plugin-1.2.1.jar

命令 cp  /home/hadoop/hadoop-eclipse-plugin-1.2.1.jar  /opt/eclipse/plugins

 

 

 

5.4 启动eclipse

 

配置eclipse

 

创建 DFS Location


查看配置是否有错

 

 

创建工程


运行代码

CentOS 6.5 伪分布安装