首页 > 代码库 > Mapreduce程序运行的多模式

Mapreduce程序运行的多模式

Mapreduce程序可在多种模式下运行:

  1. 本地模式:

1)         本地文件,本地处理:将MR的输入输出路径设置为本地路径;

2)         集群文件,本地处理:将MR的输入输出设置为HDFS的路径,job在本地进行处理;

  2.集群模式:集群文件,集群处理:将MR的输入输出设置为HDFS的路径,并将Job提交到集群里面(Yarn)处理;其中以集群模式运行的时候还可通过以下几种方式对Job作业进行提交(前提是在集群里面已经启动HDFS以及Yarn):

1)         在Eclipse提交:

a)         在安装有hadoop相应版本的eclipse开发Mapreduce程序的hadoop插件,在运行时可直接右键选择run in Hadoop

b)         若未安装插件,可在Mapreduce项目下导入hadoop里面配置好的配置文件Mapreduce-site.xml,yarn-site.xml同时在程序入口处用Configuration指明配置:

conf.set(“mapreduce.job.jar”,”xxx.jar”),若不想导入这两个文件则需多加几个配置语句conf.set(“mapreduce.framework.name”,”yarn”)···等等配置文件里面的配置项。

2)         通过命令行提交:在eclipse下打成jar包之后丢进集群环境:hadoop jar xxx.jar xxxx(打jar前的主类,需写明所在包和类) 【需设参数的话此处可设置参数】

Mapreduce程序运行的多模式