首页 > 代码库 > Scala实现Mapreduce程序3----数据排序
Scala实现Mapreduce程序3----数据排序
输入n个数字,输出每一个数字以及其排名例如:
4
2
3
1
输出:
1 1
2 2
3 3
4 4
scala实现
package HadoopvsSpark.ScalaMap
import org.apache.spark.{HashPartitioner, SparkConf, SparkContext}
/**
* Created by Administrator on 2017/5/25.
*/
object Sorted {
def main(args: Array[String]): Unit = {
val conf=new SparkConf().setMaster("")
val sc=new SparkContext(conf)
val one=sc.textFile("")
var index=0;
//由于输入文件有多个,产生不同的分区,为了生产序号,使用HashPartitioner将中间的RDD归约到一起。
val line=one.filter(_.trim.length>0).map(num=>(num.trim.toInt,"")).partitionBy(new HashPartitioner(1)
).sortByKey().map(t=>{
index+=1
(index,t._1)
}).collect().foreach(x=>println(x._1+"\t"+x._2))
}
}
Scala实现Mapreduce程序3----数据排序
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。