首页 > 代码库 > hadoop1学习系列2-hadoop伪分布安装

hadoop1学习系列2-hadoop伪分布安装

1.hadoop的伪分布安装(采用Host-only模式)
  1.1 设置ip地址
      1.1.1设置宿主机的VirtualBox Host-only Network网路设置
            IP地址:192.168.56.1
        子网掩码:255.255.255.0
        默认网关:不填
   1.1.2设置VirtualBox虚拟机的网路连接
      网卡1:启用网路连接
      连接方式:仅主机(Host-Only)适配器
      高级:保持默认 
   1.1.3启动linux系统,(使用centos6.4),以root用户登录
      设置IP地址IPv4 Settings
      Method:Manual
      Address:192.168.56.100(必须与宿主机在同一网段)
      Netmask:255.255.255.0
      Gateway:192.168.56.1(此处必须与宿主机的VirtualBox Ip地址一样)

      执行命令 service network restart
      验证: ifconfig
      测试:宿主机可ping通linux,linux不可以ping通宿主机(Host-Only的安全机制)
    1.2 关闭防火墙  
     执行命令 service iptables stop
     验证: service iptables status
  1.3 关闭防火墙的自动运行
     执行命令 chkconfig iptables off
     验证 chkconfig --list | grep iptables 
  1.4 设置主机名
     (1)hostname hadoop
     (2)vi /etc/sysconfig/network
        修改HOSTNAME=hadoop
     (3)重启 reboot -h now 发现hostname已经改变
  1.5 ip与hostname绑定
      执行命令:vi /etc/hosts
      增加一行:192.168.56.100 hadoop
      验证:ping hadoop
  1.6 设置ssh免密码登录
     执行命令 (1)ssh-keygen -t rsa
     (2)cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
     验证:ssh hadoop 和ssh localhost
     再次ssh hadoop将不用再使用密码
///////////////////linux设置完毕/////////////////////////////////////
  1.7 安装jdk
     执行命令:
     (1)cd /usr/local 安装包在此目录下
     (2)rm -rf /usr/local/* 删除此目录下所有文件,没有用
     (3)chmod u+x jdk-6u24-linux-i586.bin
     (4)./jdk-6u24-linux-i586.bin
     (5)mv jdk1.6.0_24  jdk
     (6)vi /etc/profile 增加内容如下:
        export JAVA_HOME=/usr/local/jdk
        export PATH=.:$JAVA_HOME/bin:$PATH
     (7)source /etc/profile
     (8)验证 java -version  
  1.8 安装hadoop
     (1)tar -zxvf hadoop-1.1.2.tar.gz
     (2)mv hadoop-1.1.2 hadoop
     (3)vi /etc/profile 增加内容如下:
        export JAVA_HOME=/usr/local/jdk
        export HADOOP_HOME=/usr/local/hadoop
        export HADOOP_HOME_WARN_SUPPRESS=1  #去除警告
        export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
     (4)source /etc/profile
     (5)修改conf目录下的配置文件hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml
      注意主机名的更换
  5-1:hadoop-env.sh
   export JAVA_HOME=/usr/local/jdk #第9行
  5-2:core-site.xml
   <configuration>
    <property>
            <name>fs.default.name</name>
            <value>hdfs://hadoop:9000</value>
        </property>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/usr/local/hadoop/tmp</value>
        </property>
   </configuration>
  5-3:hdfs-site.xml
   <configuration>
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
        <property>
            <name>dfs.permissions</name>
            <value>false</value>
        </property>
   </configuration>
  5-4:mapred-site.xml
   <configuration>
        <property>
            <name>mapred.job.tracker</name>
            <value>hadoop:9001</value>
        </property>
   </configuration>
 (6)hadoop namenode -format
 (7)start-all.sh #启动hadoop
 验证:jps 五个java进程
 namenode,secondarynamenode,jobtracker,datanode,tasktracker

1.9 启动时没有NameNode的可能原因:
 (1)没有格式化
 (2)环境变量设置错误
 (3)ip与hostname绑定失败 
1.10 web
 hadoop:50070 hdfs界面
 hadoop:50030 jobtracker M-R界面

1.11 hadoop dfs -mkdir /user/root
     hadoop dfs -ls 默认查找/user/root目录,若没有提示no such directory

 

-------------------------伪分布模式安装完毕---------------------------------------------------------