首页 > 代码库 > 使用scala开发spark入门总结
使用scala开发spark入门总结
使用scala开发spark入门总结
一、spark简单介绍
关于spark的介绍网上有很多，可以自行百度和google，这里只做简单介绍。推荐简单介绍连接：http://blog.jobbole.com/89446/
1、 spark是什么？
Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架。一般配合hadoop使用，可以增强hadoop的计算性能。
2、 Spark的优点有哪些？
Spark拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
值得注意的是：spark是通过scala这一编程语言开发的。虽然spark的开发语言支持java和python，但是编写spark程序最好还是使用scala编写，一是代码简洁，二是函数式的易读性比较好，最重要的是scala能够帮助我们更好的理解spark的工作过程。
二、Scala和sbt简单介绍
Scala 是一门多范式（multi-paradigm）的编程语言，设计初衷是要集成面向对象编程和函数式编程的各种特性。Scala 运行在Java虚拟机上，并兼容现有的Java程序。Scala 源代码被编译成Java字节码，所以它可以运行于JVM之上，并可以调用现有的Java类库。
Scala推荐学习网站：http://www.runoob.com/scala/scala-tutorial.html 如果喜欢看视频教程的话推荐慕课网的scala教程：http://www.imooc.com/learn/613
类似于开发Java程序使用maven管理项目，scala项目的管理工具是sbt。Sbt是Simple Build Tool的缩写，它是对scala或Java语言进行编译的一个工具，它需要JDK1.6或更高的版本支持。
三、安装scala和sbt
具体的安装网上有很多教程，都介绍的很清楚。下面是一些推荐的连接。
Scala官网链接：http://www.scala-lang.org/
Scala安装链接：http://www.runoob.com/scala/scala-install.html （与jdk的安装大同小异）
Sbt安装链接：http://www.importnew.com/4311.html 详细介绍了sbt的优点，项目目录结构，如何常见一个sbt工程等。
值得注意的是：
l sbt安装并不困难，但是安装完成之后再命令窗口第一次运行sbt命令的时候，sbt会默认下载需要用到的包，这个过程非常消耗时间，需要耐心等待，如果遇到一些包很大，很长时间都没有下载完成的话，可以手动下载这个包，并把包放到命令行显示的路径下面。
l sbt的本地仓库尽量修改，默认目录在C盘。
四、使用开发工具
Scala的IDE一般有两个：Scala IDE for Eclipse 和 IntelliJ Idea，对于习惯使用eclipse的用户可以使用scala ide for eclipse，下载链接：http://scala-ide.org/。两个IDE都比较好用。个人感觉，idea对于插件的安装以及win环境下命令窗口的支持要比eclipse好用一点，更推荐使用idea开发。
使用sbt：
真正写起程序和项目来，肯定要使用项目管理工具的。Sbt是编写scala项目的常用管理工具。
- Sbt项目构建
Sbt目前使用的人还不是很多，不能要求像maven那样方便。Sbt项目的结构目录为：
src目录详解
Maven用户对src目录的结构应该不会感到陌生，下面简单介绍各个子目录的作用。
- · src/main/java目录存放Java源代码文件
- · src/main/resources目录存放相应的资源文件
- · src/main/scala目录存放Scala源代码文件
- · src/test/java目录存放Java语言书写的测试代码文件
- · src/test/resources目录存放测试起见使用到的资源文件
- · src/test/scala目录存放scala语言书写的测试代码文件
build.sbt详解
读者可以简单的将build.sbt文件理解为Maven项目的pom.xml文件，它是build定义文件。 SBT运行使用两种形式的build定义文件，一种就是放在项目的根目录下，即build.sbt， 是一种简化形式的build定义； 另一种放在project目录下，采用纯Scala语言编写，形式更加复杂，当然，也更完备，更有表现力。
具体的使用可以参照网上的介绍
推荐链接：http://www.th7.cn/Program/java/201309/149445.shtml
- sbt项目生成
上面介绍的这些目录可以自己创建，然后导入到IDE中。生产相应IDE的工具有：
Sbt Eclipse 插件：
推荐链接：http://www.cnblogs.com/rxingyue/p/4398591.html
有2种配置方式：一种是在 ~/.sbt/0.13/plugins//build.sbt 里配置addPlugin,这种做法是全局的插件，即对本机所有sbt项目均使用。另一种是每个项目不一样的plugins，则是在每个项目跟目录下project/plugins.sbt里进行插件配置。 plugins.sbt里面内容配置，添加插件：addSbtPlugin("com.typesafe.sbteclipse" % "sbteclipse-plugin" % "2.4.0")
在根目录的build.sbt里添加EclipseKeys.createSrc := EclipseCreateSrc.Default + EclipseCreateSrc.Resource，再执行sbt eclipse。
这样就可以生成eclipse项目了，直接导入项目就可以使用了。
Sbt Idea 插件：
在项目目录下的project/plugins.sbt中添加插件
addSbtPlugin("com.github.mpeltonen" % "sbt-idea" % "1.6.0")
在命令行输入sbt ，会自动安装插件。
安装完插件之后，在命令行（项目根目录）输入sbt gen-idea可以帮我们生成IntelliJ Idea的相关文件。
以上两个插件还有一个重要作用就是可以帮我们导入build.sbt中用到的依赖，这样我们就可以在开发环境进行一些测试。
- sbt项目打包
使用assembly插件。参照博客：http://www.cnblogs.com/rxingyue/p/4398591.html
Assembly是作为一种插件的，所以要在project下面的plugins.sbt里面配置。
addSbtPlugin("com.eed3si9n" % "sbt-assembly" % "0.11.2")
除了插件的配置之外，还需要配置跟目录下build.sbt，支持assembly，在文件头部加入：
import AssemblyKeys._
assemblySettings
五、一些坑及解决办法
1、 Sbt下载依赖慢
这是很正常的问题，毕竟默认的远程仓库都在国外。可以选择更改库，可以全局更改，也可以针对项目进行更改，在build.sbt里面配置内容：
resolvers ++= Seq(
// HTTPS is unavailable for Maven Central
"Maven Repository" at "http://repo2.maven.apache.org/maven2",
"Apache Repository" at "https://repository.apache.org/content/repositories/releases",
"MQTT Repository" at "https://repo.eclipse.org/content/repositories/paho-releases/",
"Cloudera Repository" at "http://repository.cloudera.com/artifactory/cloudera-repos/",
Resolver.mavenLocal
)
另外的办法：对于一些比较大的包，可以手动下载然后放到相应的目录。（一般把下载的地址给迅雷，下载会快很多，这种办法只针对个别情况）
2、 依赖的版本问题
互相依赖的包之间，可能出现版本的冲突，最好保持版本一致。
形如
libraryDependencies ++= Seq(
"org.json4s" %% "json4s-native" % "3.2.10",
"org.json4s" %% "json4s-jackson" % "3.2.10"
)
中间两个百分号的依赖是不指定版本的，版本有scala的版本确定。
形如
libraryDependencies += "org.apache.kafka" % "kafka_2.10" % "0.10.0.0"
中间有一个百分号的依赖是指定版本的。
3、 Sbt找不到依赖
找不到依赖，可以在引用的依赖后面写一下依赖的地址。例如：
libraryDependencies += "net.sf.json-lib" % "json-lib" % "2.4" from "http://repo1.maven.org/maven2/net/sf/json-lib/json-lib/2.4/json-lib-2.4-jdk15.jar"
六、Spark经典入门示例
1、 WordCount
2、 SparkStreaming读取kafka数据
这些程序都可以在官方网站查看得到。
使用scala开发spark入门总结