首页 > 代码库 > CentOS 下 Hadoop 环境搭建--Hadoop

CentOS 下 Hadoop 环境搭建--Hadoop

---恢复内容开始---

①解压Hadoop到自定目录下面(这里解压到/opt/hadoop目录下)

  tar -zxvf hadoop-2.5.0.tar.gz -C /opt/hadoop

②清理Hadoop目录,删除/opt/hadoop/hadoop-2.5.0/share/doc 文件

  rm -rf /opt/hadoop/hadoop-2.5.0/share/doc

③修改文件,指定java安装目录

  修改/hadoop-2.5.0/etc/hadoop/hadoop-env.sh文件

    export JAVA_HOME=/opt/hadoop/jdk1.7.0_67

  技术分享

 

  修改/hadoop-2.5.0/etc/hadoop/mapred-env.sh文件

    export JAVA_HOME=/opt/hadoop/jdk1.7.0_67

  技术分享

 

 

    修改/hadoop-2.5.0/etc/hadoop/yarn-env.sh文件

    export JAVA_HOME=/opt/hadoop/jdk1.7.0_67

  技术分享

 

 

④测试

  输入 bin/hadoop version 进行测试

  技术分享

 

 

  

⑤修改/hadoop-2.5.0/etc/hadoop/core-site.xml文件

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://MyComputer:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop/hadoop-2.5.0/data/tmp</value>
<description>A base for other temporary directories.</description>

</property>

</configuration>

 

  

 

 

技术分享

 

  修改/hadoop-2.5.0/etc/hadoop/hdfs-site.xml文件

 

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

    技术分享

 

 修改/hadoop-2.5.0/etc/hadoop/slaves 文件

  指定从节点的机器位置,添加主机名即可

 

⑥格式化namenode

bin/hdfs namenode -format

  技术分享

 

  格式化成功

⑦启动namenode 和datanode 两个服务

  sbin/hadoop-daemon.sh start namenode

  sbin/hadoop-daemon.sh start datanode

技术分享

 

  查看服务是否启动成功

  jps

  技术分享

 

 

 ⑧查看HDFS外部界面

  IP地址:50070    或者    主机名:50070

⑨测试HDFS环境:

  创建文件夹:bin/hdfs dfs -mkdir -p haoxin/input

  上传文件到HDFS:bin/hdfs dfs -put etc/hadoop/core-site.xml   /

  读取文件内容:bin/hdfs dfs -text /core-site.xml

  下载到本地:bin/hdfs dfs -get /core-site.xml /home/haoxin/Music/get-sit.xml

⑩修改/hadoop-2.5.0/etc/hadoop/mapred-site.xml文件

<property>
       
	 	<name>mapreduce.framework.name</name>
       	
		 <value>yarn</value>
   	
	 </property>

  

修改/hadoop-2.5.0/etc/hadoop/yan-site.xml文件

<property>     
		<name>yarn.nodemanager.aux-services</name>      
		<value>mapreduce_shuffle</value>
    	
</property>
<property>

		    <description>The hostname of the RM.</description>
		    <name>yarn.resourcemanager.hostname</name>
		    <value>MyComputer</value>

</property>

  

启动yarn 的两个resourcemanager  和  nodemanager 这两个服务

sbin/yarn-daemon.sh start resourcemanager

sbin/yarn-daemon.sh start nodemanager

 

查看yarn的外部界面

  IP地址:8088   或者    主机名:8088

 

测试环境,运行mapreduce, wordcount 单词统计案例

  新建数据文件并写入内容,用于测试   /opt/datas/file_text.txt

  数据上传到HDFS  bin/hdfs  dfs -put /opt/datas/file_text.txt /user/haoxin/haoxin/input

  运行:bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount 

/user/haoxin/haoxin/input /user/haoxin/haoxin/output

 

  

    

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

  

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

  

---恢复内容结束---

CentOS 下 Hadoop 环境搭建--Hadoop