首页 > 代码库 > spark 笔记 1: 如何着手

spark 笔记 1: 如何着手


  • 必读:从官方的开发者页面着手,包括如何构建spark以及编码规范(强烈建议读读编程规范)等;https://cwiki.apache.org/confluence/display/SPARK/Contributing+to+Spark
  • 必读: 官方文档简介:http://spark.apache.org/docs/latest/,以及这里的所有超链接都应该看一遍。应该有个印象;
  • 搭建spark的本地环境,编译、打包wordCount程序使其正常跑起来;不要仅仅使用spark-shell,要使用正常的提交;google一下,这个例子相关的资料太多了;强烈建议使用IDEA+MAVEN(不用sbt是因为国内使用sbt过程中一些依赖下载卡死。。)
  • 可选:使用spark的API,编写一些简单的例子执行;主要是熟悉spark的API;







来自为知笔记(Wiz)


spark 笔记 1: 如何着手