首页 > 代码库 > Apache Hadoop* 软件的英特尔® 分发版环境搭建

Apache Hadoop* 软件的英特尔® 分发版环境搭建

  21世纪毋庸置疑是属于云的时代,各种云应运而生(云物联、云计算、云游戏、云存储....) 而hadoop正是云时代的产物,Hadoop是一个能够对大量数据进行分布式处理的软件框架, Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理.

 

  Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点:

  1. 高可靠性:Hadoop按位存储和处理数据的能力值得人们信赖。

  2. 高扩展性:Hadoop是在可用的计算机集簇间分配数据并完成计算任务的,这些集簇可以方便地扩展到数以千计的节点中。

  3. 高效性:Hadoop能够在节点之间动态地移动数据,并保证各个节点的动态平衡,因此处理速度非常快。

  4. 高容错性:Hadoop能够自动保存数据的多个副本,并且能够自动将失败的任务重新分配。

  5. 低成本:与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比,hadoop是开源的,项目的软件成本因此会大大降低。

 

下面我们来以Apache Hadoop* 软件的英特尔 分发版为例为大家介绍hadoop

 

wKiom1R_LBqir06BAALrJ4b_nZI992.jpg

 

Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。

 

下面来搭建hadoop环境

 

一、安装hadoop

准备:

centos6.2

Esxi5.5

Intelhadoop.tar.gz

FileZillaPortable(用于向centos中传送文件)

 

 

 

地址分配:

三台服务器各自安装esxi,在esxi上在架构centos

Esxi1  192.168.0.201 

Esxi1  192.168.0.202

Esxi1  192.168.0.203

Hadoop1 192.168.0.101

Hadoop2 192.168.0.102

Hadoop3 192.168.0.103

 

 

每个hadoop节点硬盘大小160G,内存大小8G

 

Centos安装注意事项:

 

wKioL1R_HxGRv_3FAABKnXe-090182.jpg

 

wKioL1R_H02wbLfJAACd5Vhs5wU744.jpg

 

 

创建用户

hadoop1 密码P@ssword

Hadoop2 密码P@ssword

Hadoop3 密码P@ssword

 

 

安装系统:

 

系统安装完成后

Intelhadoop.tar.gz传到/usr/hadoop

然后解压

 

 

修改/etc/hosts文件

 

wKiom1R_Hp2CXK-VAADlWh9Mm78643.jpg

 

wKiom1R_Hz6CnwUpAABLyU0JBIs413.jpg

 

 

wKioL1R_H-zR57OoAAKhJrtRuXY754.jpg

 

wKiom1R_H2CDHvmnAAGHXa4lTjo204.jpg

 

wKioL1R_H-7T5f-vAAG8gfZwwzk365.jpg

 

wKiom1R_H2Lx6pVXAAEk1491uEQ930.jpg

 

wKioL1R_H--x34OLAAHAtFe7wZU765.jpg

 

一路选yes,直到出现如下图所示的一步

 

  安装Apache Hadoop*英特尔发布版和进行集群管理需要一个Linux系统的软件包资源库,这里可以选择在本地主机上创建一个资源库,或使用一个存在的资源库。如果选择在本地创建,则需要一个Linux系统的安装DVD光盘或则ISO文件来创建资源库。如果使用一个存在的资源库,须输入已存在的Linux系统资源库的URL

 

wKioL1R_IGmAoLJMAAFtnHrlf4Y038.jpg

 

这里选择通过加载系统镜像创建软件包资源库

 

wKiom1R_H93SGnc5AAE6nDlDK9w675.jpg

 

centos系统中加载镜像

 

wKioL1R_IGqTrWDdAAIRgb1nyLo954.jpg

 

wKiom1R_H97gJEq9AAFGvZQdK58318.jpg

 

由于不需要第二个镜像中的内容,在下面选择no(这里一定要注意)

 

wKioL1R_IGugBrOtAAE1lbrazUo467.jpg

 

wKiom1R_H9_QyyZsAAEQcyRnxzw868.jpg

 

wKioL1R_IGyAXWNEAAGsB8yO5nk688.jpg

 

wKiom1R_H-Cw8mmsAAE2lLOTigs369.jpg

 

wKioL1R_IG2yCSQUAAFqqdR7POs817.jpg

 

 

 

其他两个节点的操作也像hadoop1节点的一样

 

 

二、web界面配置

  Hadoop1hadoop2hadoop3节点安装完Apache hadoop* intel后,接下来进入webGUI界面进行节点配置,在web浏览器中输入https://hadoop1:9443,用户名和密码都是admin

 

 

wKioL1R_IZqD9F0hAAG-dUpP0cY485.jpg

 

wKiom1R_IRfwJsa_AALkND_eGmo822.jpg

 

 

wKioL1R_Iaeyan7pAAJoQzY2Rfg449.jpg

 

 这里选择除了最后一项以外的所有内容

 

wKiom1R_IR7hwPQhAAEJ4o8eBtI286.jpg

 

wKioL1R_Ia2zPp5oAAGWA12UcXQ446.jpg

 

逐个添加节点

 

wKiom1R_ISKC0QAxAAFF3xRT2Is751.jpg

 

wKioL1R_Ia_CE2YgAADkriVOLuI552.jpg

 

wKiom1R_ISTjGCSaAAFcnY3y7Ok934.jpg

 

wKioL1R_IbKSJfXSAAElwANe44I787.jpg

 

wKiom1R_ISbxl7XZAAET3_nMIww314.jpg

 

wKioL1R_Ibvx849SAAQaRPaBBJI550.jpg

 

wKiom1R_ITLTAICTAAEszD6pDU8292.jpg

 

wKioL1R_Ib_y7gYyAAF7YM4BdAk123.jpg

 

wKioL1R_IcGSVFGpAAEWl6y_Km8593.jpg

 

wKiom1R_ITfgWI01AAGVAQSe4B0486.jpg

 

 

wKiom1R_JD6QYHMHAAM6LQpA2kE678.jpg

 

wKioL1R_JMzCuHO7AALISn8_cp4394.jpg

wKioL1R_JM3wtKL9AAFgkujdQz4601.jpg

 

wKiom1R_JELQELQQAAFAFV2HNWY643.jpg

wKioL1R_JM_Ql8ZvAAFB_QPywpI320.jpg

 

wKiom1R_JEPhNg2VAALAsJJBqB8694.jpg

 

wKioL1R_JNDi6F8wAAFvLWL71Aw699.jpg

 

wKiom1R_JETTaZO8AADwX75aaIY177.jpg

 

wKioL1R_JNHhGjWwAAC92mCc8lA905.jpg

 

wKiom1R_JEWhtt2SAAEnk19QBEw057.jpg

 

wKiom1R_JEbAQRN2AAElPh_2BPc231.jpg

 

wKioL1R_JNPyAkeKAAE1btmw2Wg148.jpg

 

wKiom1R_JEfBY5meAAErSjjRF64280.jpg

 

wKioL1R_JNSycxrTAAHgheYrQgU229.jpg

 

wKiom1R_JEmz3OZtAAIb3wWz4vM375.jpg

 

 

 

 

 

wKiom1R_JFTgtDl6AAKt_mYwGRk961.jpg

 

wKioL1R_JOLzZP0-AAG9thcPseo808.jpg

 

wKiom1R_JFeilWFDAAOV4KxlVy4101.jpg

 

wKioL1R_JOTxuZfMAAFRIFj40m4293.jpg

 

wKiom1R_JFqgA2G5AAEeF_KIxTI731.jpg

 

 至此hadoop的环境就搭建完成了,我在搭建的过程中也产生一些错误,我会在以后的博客中去给大家做一些错误的实例以及解决办法。

 

 

 

 

本文出自 “xiaoxiaozhou” 博客,请务必保留此出处http://xiaoxiaozhou.blog.51cto.com/4681537/1586137

Apache Hadoop* 软件的英特尔® 分发版环境搭建