首页 > 代码库 > 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第四步)(7)

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第四步)(7)

第四步:通过Spark的IDE搭建并测试Spark开发环境

 Step 1:导入Spark-hadoop对应的包,次选择“File”–> “Project Structure” –> “Libraries”,选择“+”,将spark-hadoop 对应的包导入:

wKioL1QjvFuijA0cAAGYTLtlqJ8564.jpg

wKiom1QjvDmxXkngAAEfnxZDTbQ384.jpg

wKioL1QjvF_hAf5-AAD9ETir8sU678.jpg

wKiom1QjvDyhMQg4AAD_yXweVAg544.jpg

wKioL1QjvGKQQQiNAAEZywO5Oqg613.jpg

点击“OK”确认:

wKiom1QjvD-C1oYkAAEaIGrfTRY643.jpg

wKioL1QjvGOS_eEPAACXyI8m0C0378.jpg

点击“OK”:

wKiom1QjvEGBMHvpAAEn5IY6bYY697.jpg

wKioL1QjvGbAXApSAAErYJJt3I4478.jpg

IDEA工作完成后会发现Spark的jar包导入到了我们的工程中:

wKiom1QjvETC0p_rAAEAa4s3PKE272.jpg

Step 2:开发第一个Spark程序。打开Spark自带的Examples目录:

wKioL1QjvHfyKPkoAAGYG6f_eD0851.jpg

此时发现内部有很多文件,这些都是Spark给我提供的实例。

在我们的在我们的第一Scala工程的src下创建一个名称为SparkPi的Scala的object:

wKiom1QjvFWgT0B9AAC52Yrx6kQ464.jpg

此时打开Spark自带的Examples下的SparkPi文件:

wKioL1QjvHyBFnfrAAFAmnvKvSM596.jpg

我们把该文的内容直接拷贝到IDEA中创建的SparkPi中:

wKiom1QjvFmza2gxAAGYZKmKyHw387.jpg


本文出自 “Spark亚太研究院” 博客,请务必保留此出处http://rockyspark.blog.51cto.com/2229525/1558103

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第四步)(7)