MapReduce 编程系列七 MapReduce程序日志查看

2024-07-25 09:47:46 231人阅读

首先，如果需要打印日志，不需要用log4j这些东西，直接用System.out.println即可，这些输出到stdout的日志信息可以在jobtracker站点最终找到。

其次，如果在main函数启动的时候用System.out.println打印的日志，直接在控制台就可以看到。

再其次，jobtracker站点很重要。

http://your_name_node:50030/jobtracker.jsp

注意，在这里看到Map 100%不一定正确，有时候会卡在Map阶段并没有完成，而此时居然显示Map 100%，所以要一层层的点进去，直到看到日志为止。

另外，在cluster summary表格中可以看到map/reduce slots的情况，方便了解集群计算资源。可以写个脚本定时收集slots信息，方便分析出集群高峰和空闲时间段。

MapReduce 编程系列七 MapReduce程序日志查看

声明：以上内容来自用户投稿及互联网公开渠道收集整理发布，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任，若内容有误或涉及侵权可进行投诉：投诉/举报工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。

联系
我们