首页 > 代码库 > eclipse debug调试mapreduce程序
eclipse debug调试mapreduce程序
1、将mapred-site.xml文件拷贝一份到项目中
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapred.child.java.opts</name> <value>-Xmx800m -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8000</value> </property> <property> <name>mapreduce.jobtracker.staging.root.dir</name> <value>/tmp</value> </property> <property> <name>yarn.app.mapreduce.am.staging-dir</name> <value>/tmp</value> </property> <property> <name>mapreduce.framework.name</name> <value>local</value> </property> <property> <name>mapreduce.jobtracker.address</name> <value>local</value> </property> <property> <name>mapred.job.tracker</name> <value>local</value> </property> </configuration>
2、在项目中加入本地mapred-site.xml配置,从本地项目中读取配置文件运行,在reduce中debug
Job job = new Job(conf, "word count"); conf.addResource("classpath:/Hadoop01/mapred-site.xml"); conf.set("fs.defaultFS", "hdfs://192.168.1.10:9008"); conf.set("mapreduce.framework.name", "yarn"); conf.set("yarn.resourcemanager.address", "192.168.1.10:8032"); conf.set("mapred.remote.os", "Linux"); conf.set("hadoop.job.ugi", "hadoop,hadoop");
eclipse debug调试mapreduce程序
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。