首页 > 代码库 > spark 笔记 1: 如何着手
spark 笔记 1: 如何着手
- 必读:从官方的开发者页面着手,包括如何构建spark以及编码规范(强烈建议读读编程规范)等;https://cwiki.apache.org/confluence/display/SPARK/Contributing+to+Spark
- 必读: 官方文档简介:http://spark.apache.org/docs/latest/,以及这里的所有超链接都应该看一遍。应该有个印象;
- 搭建spark的本地环境,编译、打包wordCount程序使其正常跑起来;不要仅仅使用spark-shell,要使用正常的提交;google一下,这个例子相关的资料太多了;强烈建议使用IDEA+MAVEN(不用sbt是因为国内使用sbt过程中一些依赖下载卡死。。)
- 可选:使用spark的API,编写一些简单的例子执行;主要是熟悉spark的API;
来自为知笔记(Wiz)
spark 笔记 1: 如何着手
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。