首页 > 代码库 > CentOS 下 Hadoop 环境搭建--Hadoop
CentOS 下 Hadoop 环境搭建--Hadoop
---恢复内容开始---
①解压Hadoop到自定目录下面(这里解压到/opt/hadoop目录下)
tar -zxvf hadoop-2.5.0.tar.gz -C /opt/hadoop
②清理Hadoop目录,删除/opt/hadoop/hadoop-2.5.0/share/doc 文件
rm -rf /opt/hadoop/hadoop-2.5.0/share/doc
③修改文件,指定java安装目录
修改/hadoop-2.5.0/etc/hadoop/hadoop-env.sh文件
export JAVA_HOME=/opt/hadoop/jdk1.7.0_67
修改/hadoop-2.5.0/etc/hadoop/mapred-env.sh文件
export JAVA_HOME=/opt/hadoop/jdk1.7.0_67
修改/hadoop-2.5.0/etc/hadoop/yarn-env.sh文件
export JAVA_HOME=/opt/hadoop/jdk1.7.0_67
④测试
输入 bin/hadoop version 进行测试
⑤修改/hadoop-2.5.0/etc/hadoop/core-site.xml文件
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://MyComputer:8020</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/opt/hadoop/hadoop-2.5.0/data/tmp</value> <description>A base for other temporary directories.</description> </property> </configuration>
修改/hadoop-2.5.0/etc/hadoop/hdfs-site.xml文件
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
修改/hadoop-2.5.0/etc/hadoop/slaves 文件
指定从节点的机器位置,添加主机名即可
⑥格式化namenode
bin/hdfs namenode -format
格式化成功
⑦启动namenode 和datanode 两个服务
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode
查看服务是否启动成功
jps
⑧查看HDFS外部界面
IP地址:50070 或者 主机名:50070
⑨测试HDFS环境:
创建文件夹:bin/hdfs dfs -mkdir -p haoxin/input
上传文件到HDFS:bin/hdfs dfs -put etc/hadoop/core-site.xml /
读取文件内容:bin/hdfs dfs -text /core-site.xml
下载到本地:bin/hdfs dfs -get /core-site.xml /home/haoxin/Music/get-sit.xml
⑩修改/hadoop-2.5.0/etc/hadoop/mapred-site.xml文件
<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>
修改/hadoop-2.5.0/etc/hadoop/yan-site.xml文件
<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <description>The hostname of the RM.</description> <name>yarn.resourcemanager.hostname</name> <value>MyComputer</value> </property>
启动yarn 的两个resourcemanager 和 nodemanager 这两个服务
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager
查看yarn的外部界面
IP地址:8088 或者 主机名:8088
测试环境,运行mapreduce, wordcount 单词统计案例
新建数据文件并写入内容,用于测试 /opt/datas/file_text.txt
数据上传到HDFS bin/hdfs dfs -put /opt/datas/file_text.txt /user/haoxin/haoxin/input
运行:bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount
/user/haoxin/haoxin/input /user/haoxin/haoxin/output
---恢复内容结束---
CentOS 下 Hadoop 环境搭建--Hadoop