首页 > 代码库 > MapReduce 计算模型
MapReduce 计算模型
前言
本文讲解Hadoop中的编程及计算模型MapReduce,并将给出在MapReduce模型下编程的基本套路。
模型架构
在Hadoop中,用于执行计算任务(MapReduce任务)的机器有两个角色:一个是JobTracker,一个是TaskTracker,前者用于管理和调度工作,后者用于执行工作。
一般来说,一个Hadoop集群由一个JobTracker和N个TaskTracker构成。
执行流程
每次计算任务都可以分为两个阶段,Map阶段和Reduce阶段。
其中,Map阶段接收一组键值对模式<key, Value>的输入并产生同样是键值对模式<key, Value>的中间输出;
Reduce阶段负责接收Map产生的中间输出<key, Value>,然后对这个结果进行处理并输出结果。
这里举个很简单的例子,有一个程序用来统计文本中各个单词出现的个数,那么每个Map任务可以负责提取出文本中的所有单词并产生n个<word, 1>这样的输出;
而Reduce任务可以负责对这些中间输出做出处理,转换成<word, n> 这样的输出。
编码框架说明
编码涉及到一些细节,建议结合具体代码进行分析,这里只给出一个框架性的说明。推荐阅读经典的wordcount程序。
1. 导入Hadoop开发需要用到的一些包
2. 定义一个需要用到分布式计算的类
3. 在此类中添加Map类,并使该类继承Mapper抽象类,然后实现该抽象类中的map方法。
4. 在此类中添加Reduce类,并使该类继承Reducer抽象类,然后实现该抽象类中的reduce方法。
5. 在类中定义一个成员函数并做如下操作:
a. 定义一个Job对象负责job调度
b. 往a中定义的job对象中注入2中定义的分布式类 (setJarByClass)
c. 定义分布式任务的名字 (setJobName)
d. 往a中定义的job对象中注入输出的key和value的类型 (setOutPutKeyClass,setOutPutKeyClass)
e. 往a中定义的job对象中注入3和4中定义的Map,Reduce类
f. 往a中定义的job对象中注入数据切分格式类 (setInputFormat,setOutputFormat)
g. 往a中定义的job对象中注入输出的路径地址 (setInputPaths,setOutputPath)
h. 启动计算任务 (waitForCompletion)
i. 返回布尔类型的执行结果
6. 在主函数中调用上述方法 (命令行方式)
运行方法
1. 执行以下格式的命令以编译分布式计算类
1 javac -classpath "hadoop目录下的core.jar" -d "结果输出目录" "分布式类文件名"
2. 执行以下格式的命令将该类打包成jar
1 jar -cvf "结果文件名(后缀.jar)" -C "目标目录" "结果输出目录"
3. 执行以下格式的命令将输入文件存入HDFS文件系统 (该命令将在HDFS上创建一个名为input的目录并将用户目录下input目录内前缀为file的文件导入进去):
1 dfs -mkdir input2 dfs -put ~/input/file0* input
4. 执行以下格式的命令启动hadoop程序 (下面的参数一和二一般分别指输入和输出目录)
1 jar "分布式类jar包" "分布式类名" 参数一,参数二......
MapReduce的数据流和控制流
下面来讨论一下Hadoop程序的数据流和控制流的关系,首先请看下图:
首先,由Master,也即JobTracker负责分派任务到下面的各个worker,也即TaskTracker。
某个worker在执行的时候,会返回进度报告,master负责记录进度的进行状况。
若某个worker失败,那么master会分派这个执行失败的任务给新的worker。
程序优化技巧
MapReduce程序的优化主要集中在两个方面:一个是运算性能方面的优化;另一个是IO操作方面的优化。
具体体现在以下的几个环节之上:
1. 任务调度
a. 尽量选择空闲节点进行计算
b. 尽量把任务分配给InputSplit所在的机器
2. 数据预处理与InputSplit的大小
尽量处理少量的大数据;而不是大量的小数据。因此可以在处理前对数据进行一次预处理,将数据进行合并。
3. Map和Reduce任务的数量
Map任务槽中任务的数量需要参考Map的运行时间,而Reduce任务的数量则只需要参考Map槽中的任务数,一般是0.95或1.75倍。
4. 使用Combine函数
该函数用于合并本地的数据,可以大大减少网络消耗。具体请参考函数手册。
5. 压缩
可以对一些中间数据进行压缩处理,达到减少网络消耗的目的。
6. 自定义comparator
可以自定义数据类型实现更复杂的目的。
小结
本文大致讲解了Hadoop的编程模型MapReduce,并大致介绍了如何在这个框架下进行简单的程序开发。
更复杂的框架剖析以及Hadoop高级程序开发,将在以后的文章中进行细致的探讨。
MapReduce 计算模型