首页 > 代码库 > [hadoop读书笔记] 第一章 初识 Hadoop

[hadoop读书笔记] 第一章 初识 Hadoop

 

P3-P4:

目前遇见的问题很简单:硬盘容量不断提升,1TB的已成为主流,然而数据传输速度从1990年的4.4MB/s仅上升到当前约100MB/s

读取一个1TB的硬盘数据需要耗时至少2.5个小时。写入数据则会消耗更多时间。解决方法是从多个硬盘上读取,试想,若当前有100个盘,每个盘存储1%数据,则并行读取仅需2minutes则可读取完所有的数据。

与此同时,并行读写数据带来了几个问题:

1、某个硬件故障 - 采用数据备份机制

2、分析任务需要所有节点共同完成,结果正确性  - MapReduce:将硬盘读写问题转化为对一个数据集的计算。

所以,Hadoop提供给我们一个可靠的共享存储和分析系统。

由HDFS实现可靠数据存储,MR实现可靠数据分析处理。

 

P6

技术分享

 

P7 

数据本地化是MR的一个核心特性,意识到到处复制数据容易消耗尽网络带宽后,MR尽量在计算机节点上存储数据,以实现数据的本地快速访问,同时,也提高了计算的性能。

 

P8

当需要完成计算,却中途有部分节点计算失效时,MR能检测到并重新执行那些失败的M或R任务。

这是因为MR采用的是无共享的架构,各个计算任务相互独立,容易实现失败检测。

 

P9

MR三大设计目标:

(1)为只需要几分钟或几小时可以完成的作业提供服务

(2)运行于同一个内部有高速网络连接的数据中心内部

(3)数据中心内的机器都是可靠、定制的硬件

 

P12

2006年4月 在188个节点(每个10GB)运行排序测试需要49.7小时

5月 在500个节点(每个10GB)运行排序测试需要42小时

12月 在20节点上1.8小时,100节点上3.3小时,500节点上5.2小时,900节点上7.8小时

在2008年4月,在一个有910台节点的集群上,以不到3.5分钟的成绩,完成了对1TB数据的排序,成为最快的TB级数据排序系统。

同年11月,google用了68s

2009年5月,雅虎用了62s

 

雅虎搜索引擎四个组成部分:

1 网页服务器爬取网页 - Crawler

2 构建已知网页链接图 - WebMap (链接图非常大,分析需要数日)

3 最佳页面构建反向索引 - Indexer

4 处理用户的查询 - Runtime

 

 P14-15

技术分享

技术分享

 

 P15 

2.x 版本新特性

1、基于YARN系统上构建了全新的MR2.YARN是一个通用的用于运行分布式应用的资源管理器(Yet Another Resource Negotiator)

2、HDFS联合管理,将HDFS命名空间分散到多个namenode中以支持包含大规模数据文件的集群。

3、HDFS高可用性,启用secondNamenode避免namenode单点故障。

技术分享

 

[hadoop读书笔记] 第一章 初识 Hadoop