首页 > 代码库 > Spark - 经典案例
Spark - 经典案例
初识 Spark 大数据处理，目前还只是小白阶段，初步搭建起运行环境，慢慢学习之。
本文熟悉下 Spark 数据处理的几个经典案例。
Word Count
import org.apache.spark.SparkConfimport org.apache.spark.SparkContextobject WordCount { def main(args: Array[String]) { if (args.length < 1) { System.err.println("Usage: <file>") System.exit(1) } // 创建 SparkConf val conf = new SparkConf() conf.setAppName("WordCount") .setMaster("local[2]") // 创建 SparkContext val sc = new SparkContext(conf) // 数据处理 val line = sc.textFile(args(0)) line.flatMap(_.split("\\s+")) .map((_, 1)) .reduceByKey(_+_) .collect.foreach(println) // 关闭 SparkContext sc.stop }}注意其中的几个问题：
- 正则表达式 "\\s+" 匹配任意空白字符
- SparkConf Name 和 Master Level 必须设置，本地调试应 local[i]，i>1
- args(0) 表示待测试的文件，eg，"sqh.txt"
- 无论本地测试还是集群测试必须有 SparkContext 的实例
参考：
- 从WordCount看Spark大数据处理的核心机制（1-2）；
Spark - 经典案例
声明：以上内容来自用户投稿及互联网公开渠道收集整理发布，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任，若内容有误或涉及侵权可进行投诉： 投诉/举报 工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。