首页 > 代码库 > wordcount 过程
wordcount 过程
hdfs原始数据
hello a
hello b
map阶段：
输入数据：<0,"hello a">
<8,"hello b">
key为偏移量
输出数据：
map(key,value,context) { String[] words = value.split("\t"); for(String word :words) { //hello //a //hello //b 输出conetxt.write（key,vlaue） } }<hello,1>
<a,1>
<hello,1>
<b,1>
reduce阶段：（分组排序,字典序排序）
输入数据：
<a,1>
<b,1>
<hello,{1,1}>
输出数据：
reduce(key,value,context) { int sum=0; String word=key; for(int i:value) { sum+=i; } context.write(key,sum); }
wordcount 过程
声明：以上内容来自用户投稿及互联网公开渠道收集整理发布，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任，若内容有误或涉及侵权可进行投诉： 投诉/举报 工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。