首页 > 代码库 > Hadoop学习笔记_2_Hadoop源起与体系概述[续]
Hadoop学习笔记_2_Hadoop源起与体系概述[续]
Hadoop源起与体系概述
Hadoop的源起——Lucene
Lucene是Doug Cutting开创的开源软件,用java书写代码,实现与Google类似的全文搜索功能,它提供了全文检索引擎的架构,包括完整的查询引擎和索引引擎
早期发布在个人网站和SourceForge,2001年年底成为apache软件基金会jakarta的一个子项目
Lucene的目的是为软件开发人员提供一个简单易用的工具包,以方便的在目标系统中实现全文检索的功能,或者是以此为基础建立起完整的全文检索引擎
对于大数据的场景,Lucene面对与Google同样的困难。迫使Doug Cutting学习和模仿Google解决这些问题的办法[可以说是Doug山寨了Google的解决方案]
Lucene有一个微缩版:Nutch
从lucene到nutch,从nutch到hadoop
2003-2004年,Google公开了部分GFS和Mapreduce思想的细节,以此为基础Doug Cutting等人用了2年业余时间实现了DFS和MapReduce机制,使Nutch性能飙升
后来Yahoo!招安Doug Cutting及其项目
Hadoop 于 2005 年秋天作为 Lucene的子项目 Nutch的 一部分正式引入Apache基金会。2006 年 3 月份,MapReduce 和 Nutch Distributed File System (NDFS) 分别被纳入称为 Hadoop 的项目中
Hadoop的名字来源于Doug Cutting儿子的玩具大象
目前Hadoop达到的高度
1.Hadoop成为实现云计算的事实标准的开源软件
2.其包含数十个具有强大生命力的子项目(如HBase,Hive,Pig等)
3.已经能在数千节点上运行,处理数据量和排序时间不断打破世界纪录
Hadoop子项目家族
MapReduce与HDFS: 为Google Map-Reduce与GFS的开源实现,构成了Hadoop技术的两大支柱.
Hbase: BigTable的开源实现,一种NoSQL[非关系型]数据库,是一种列式数据库[不同于传统的像Oracle这样的行式数据库],以列存储;主要面向数据分析,按列存储可以提高响应速度,并且减少IO量.
Pig: 一种轻量级编程语言,用类似命令的方式通过系统将该命令转变成为MapReduce的程序,支配MapReduce工作,然后将结果返回给用户.[类似于用户与MapReduce之间的一个转换器]
Hive: 相当于从SQL语言到MapReduce程序的一个映射器,面向于数据库工程师.[可将将Hive理解成为一个关系型数据库,但是功能较简单,大约只能支持到SQL92标准的一部分]
Chukwa: 相当于一个数据集成工具;
ZooKeper: 主要用于服务器结点进程间通信;
Hadoop架构
Rank:机架
1.NameNode[名字结点]
a) HDFS的守护程序
b) 纪录文件是如何分割成数据块的,以及这些数据块被存储到哪些节点上
c) 对内存和I/O进行集中管理
d) 是个单点,发生故障将使集群崩溃
2.Secondary Namenode[辅助名称结点]
a) 监控HDFS状态的辅助后台程序
b) 每个集群都有一个
c) 与NameNode进行通讯,定期保存HDFS元数据快照
d) 当NameNode故障可以作为备用NameNode使用
3.DataNode
a) 每台从服务器都运行一个
b) 负责把HDFS数据块读写到本地文件系统
HDFS := NameNode + Secondary NameNode + DataNode
4.JobTracker[作业跟踪器,位于主服务器]
a) 用于处理作业(用户提交代码)的后台程序
b) 决定有哪些文件参与处理,然后将Job切割成为Task并分配节点
c) 监控Task,重启失败的Task(于不同的节点)
d) 每个集群只有唯一一个JobTracker,位于Master节点
5.TaskTracker
a) 位于slave节点上,与datanode结合(代码与数据一起的原则)
b) 管理各自节点上的Task(由JobTracker分配)
c) 每个节点只有一个TaskTracker,但一个TaskTracker可以启动多个JVM,用于并行执行map或reduce任务
d) 与JobTracker交互[告诉JobTracker自己的情况]
6.Master与Slave
a) Master:Namenode、Secondary Namenode、Jobtracker。可以使用浏览器(用于观看管理界面),其它Hadoop工具;
b) Slave:Tasktracker、Datanode
c) Master并不一定是唯一的:一般来讲,将NameNode与DataNode放在同一台服务器,而将Secondary NameNode放置到另一台服务器.
Hadoop思想
Hadoop体系下的分析手段
1) 主流:Java程序
2) 轻量级的脚本语言:Pig
3) SQL技巧平稳过渡:Hive
4) NoSQL:HBase