首页 > 代码库 > Mapreduce程序运行的多模式
Mapreduce程序运行的多模式
Mapreduce程序可在多种模式下运行:
- 本地模式:
1) 本地文件,本地处理:将MR的输入输出路径设置为本地路径;
2) 集群文件,本地处理:将MR的输入输出设置为HDFS的路径,job在本地进行处理;
2.集群模式:集群文件,集群处理:将MR的输入输出设置为HDFS的路径,并将Job提交到集群里面(Yarn)处理;其中以集群模式运行的时候还可通过以下几种方式对Job作业进行提交(前提是在集群里面已经启动HDFS以及Yarn):
1) 在Eclipse提交:
a) 在安装有hadoop相应版本的eclipse开发Mapreduce程序的hadoop插件,在运行时可直接右键选择run in Hadoop
b) 若未安装插件,可在Mapreduce项目下导入hadoop里面配置好的配置文件Mapreduce-site.xml,yarn-site.xml同时在程序入口处用Configuration指明配置:
conf.set(“mapreduce.job.jar”,”xxx.jar”),若不想导入这两个文件则需多加几个配置语句conf.set(“mapreduce.framework.name”,”yarn”)···等等配置文件里面的配置项。
2) 通过命令行提交:在eclipse下打成jar包之后丢进集群环境:hadoop jar xxx.jar xxxx(打jar前的主类,需写明所在包和类) 【需设参数的话此处可设置参数】
Mapreduce程序运行的多模式
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。