首页 > 代码库 > hadoop伪分布式平台搭建

hadoop伪分布式平台搭建

1. 安装jdk1.7   

JAVA_HOME=/home/hadoop/app/jdk1.7.0  

vi /etc/profile.d

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

PATH=$JAVA_HOME/bin:$PATH

export JAVA_HOME CLASSPATH PATH

source /etc/profile.d 

 

2.ssh免密码登陆

service iptables status

chkconfig iptables off

yum install -y openssh-clients

ssh-keygen -t rsa

cp id_rsa.pub authorized_keys

chmod 700 .ssh

chmod 600 .ssh/*

 

3.chown -R hadoop:hadoop hadoop /data

修改core-site.xml  hdfs-site.xml mapred-site.xml yarn-site.xml slaves

HADOOP_HOME=/usr/java/hadoop

PATH=$HADOOP_HOME/bin:$PATH

export HADOOP_HOME PATH

 

4.

bin/hadoop namenode -format

sbin/start-all.sh

jps

hadoop fs -ls /

hadoop fs -mkdir /test

hadoop fs -put 1.txt /test/1.txt

 

如果hadoop集群作业运行过程中出现问题怎么办?

可以查看作业运行日志,而且是userlogs目录中最大编号的文件目录。

 

hadoop伪分布式平台搭建