首页 > 代码库 > Hadoop.2.x_集群初建
Hadoop.2.x_集群初建
一、部分概念
1. 分布式:一个项目分为多个模块共同完成一个或多个任务,可部署在一个或多个机器 2. 集群:多个机器运行同一个项目或服务 3. 集群上可能运行着零个或多个分布式系统(比如Hadoop,Zookeeper...) 分布式系统可能运行或不运行在集群上
二、简单搭建Hadoop分布式集群(分布式指的是Hadoop,集群指在多台1节点运行一个Hadoop系统)
1. 做好规划:
1> 需要哪些服务要先想好,因为配置文件后会分发到其他节点,避免重复修改配置
比如:我将要运行的服务有hdfs,yarn,mapreduce,secondaryserver,jobhistoryserver
2> 做好节点服务分布
hostname hadoop09-linux-01.ibeifeng.com hadoop09-linux-02.ibeifeng.com hadoop09-linux-03.ibeifeng.com ip 192.168.0.108 192.168.0.109 192.168.0.110 服务与插件 namenode,histroyserver resourcemanager,nodemanager secondarynamenode,nodemanager datanode,nodemanager datanode datanode
2. 准备三台节点,这里使用VMware克隆出两台,简单搭建一个三台节点的Hadoop集群
部分细节:
1> 克隆系统使用完全克隆
2> 分别启动各个节点
3> 配置各自的IP(Mac地址),hostname(注意选择好网络连接方式:桥接/nat)
a.Mac地址修改 [liuwl@hadoop09-linux-01 ~]$ sudo vim /etc/udev/rules.d/70-persistent-net.rules # 删除上面的PCI device,并复制下面PCI device的ATTR{address}值(这个值就是新的Mac地址) [liuwl@hadoop09-linux-01 ~]$ vim /etc/sysconfig/network-scripts/ifcfg-eth0 # 将新的Mac地址替换上去,并修改相应IP # PS:若是修改了虚拟机网络连接方式还要配置相应DNS1(可以设置为8.8.8.8) # 修改完毕后重启网络设置并测试 [liuwl@hadoop09-linux-01 ~]$ sudo service network restart [liuwl@hadoop09-linux-01 ~]$ ping www.baidu.com b.Hostname修改 [liuwl@hadoop09-linux-01 ~]$ sudo vim /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 10.0.0.108 hadoop09-linux-01.ibeifeng.com 10.0.0.109 hadoop09-linux-02.ibeifeng.com 10.0.0.110 hadoop09-linux-03.ibeifeng.com [liuwl@hadoop09-linux-01 ~]$ cat /etc/sysconfig/network NETWORKING=yes HOSTNAME=hadoop09-linux-01.ibeifeng.com # 测试一下: [liuwl@hadoop09-linux-01 ~]$ ping hadoop09-linux-02.ibeifeng.com c.删除用户目录下.ssh目录下所有文件(用于重新配置无秘钥),配置完毕分发公钥到其他节点 [liuwl@hadoop09-linux-01 ~]$ ssh-keygen -t rsa [liuwl@hadoop09-linux-01 ~]$ ssh-copy-id 10.0.0.108 hadoop09-linux-01.ibeifeng.com
4> 将Hadoop上传至自定义文件夹,并修改其中的自定配置文件,删除share目录下的doc目录
5> 分发Hadoop文件夹到其他相应目录(目录结构与自定义的目录接口一致)
[liuwl@hadoop09-linux-02 hadoop-2.5.0]$ scp -r etc/hadoop/ liuwl@hadoop09-linux-02.ibeifeng.com:xx/
6> 检查分发后的Hadoop文件夹权限
使用chown [用户组]:[用户组] 文件名 -R 递归修改
7> 格式化hdfs
[liuwl@hadoop09-linux-01 hadoop-2.5.0]$ bin/hdfs namenode -format
8> 启动
[liuwl@hadoop09-linux-01 hadoop-2.5.0]$ sbin/start-dfs.sh [liuwl@hadoop09-linux-01 hadoop-2.5.0]$ sbin/start-yarn.sh [liuwl@hadoop09-linux-01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start historyserver
9> jps分别查看
[liuwl@hadoop09-linux-01 hadoop-2.5.0]$ jps 2987 DataNode 6306 Jps 2894 NodeManager 2826 NameNode 3333 JobHistoryServer #=========================================== [liuwl@hadoop09-linux-02 ~]$ jps 2598 ResourceManager 3961 Jps 2751 DataNode 2693 NodeManager #=========================================== [liuwl@hadoop09-linux-03 ~]$ jps 2674 SecondaryNameNode 4129 Jps 2558 NodeManager 2606 DataNode
10> 打开web网页分别查看datanode节点和nodemanager节点
11> have a nice job!
Hadoop.2.x_集群初建
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。