首页 > 代码库 > Hadoop读书笔记（一）

Hadoop读书笔记（一）

2024-07-26 02:27:45   228人阅读

1.Hadoop是什么？

适合大数据的分布式与计算平台。
HDFS:Hadoop Distributed File System 分布式文件系统
 MapReduce:并行计算框架

2.HDFS的架构

    主从结构
    主节点，只有一个：namenode
        从节点，有很多个：datanodes
namenode负责：
接收用户操作请求
维护文件系统的目录结构
管理文件与block之间关系，block与datanode之间关系

  datanode负责：
存储文件
文件被分成block存储在磁盘上
为保证数据安全，文件会有多个副本

3.MapReduce的架构

主从结构

主节点，只有一个：JobTracker
从节点，有很多个：TaskTrackers
JobTracker负责：
接收客户提交的计算任务
把任务分给TaskTrackers
监控TaskTracker的执行情况
TaskTrackers负责：
执行JobTrackers分配的计算任务

4.Hadoop的特点

扩容能力（Scalable）：能可靠的（reliably）存储和处理千兆（PB）数据。
成本低（Economical）：可以通过普通机器组成服务器来分发以及处理数据。这些服务器群总计可达数千个节点
高效率（Efficient）：通过分发数据，hadoop可以再数据所在的节点上并行（parallel）处理它们，这使得处理的非常的快速。
可靠性（Reliable）：hadoop能自动的维护数据的多份副本，并且在任务失败后能自动的重新部署（redeploy）计算任务。


欢迎大家一起讨论学习！

有用的自己收!

记录与分享，让你我共成长！欢迎查看我的其他博客；我的博客地址：http://blog.csdn.net/caicongyang


  


Hadoop读书笔记（一）


联系
我们