首页 > 代码库 > 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(6)

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(6)

结束historyserver的命令如下所示:

wKioL1RXI_iBF3KwAAC-PTC7sXk177.jpg

第四步:验证Hadoop分布式集群

首先在hdfs文件系统上创建两个目录,创建过程如下所示:

wKiom1RXI5mjRTSFAADMDdFoZzE955.jpg

Hdfs中的/data/wordcount用来存放Hadoop自带的WordCount例子的数据文件,程序运行的结果输出到/output/wordcount目录中,透过Web控制可以发现我们成功创建了两个文件夹:

wKioL1RXI_jiCeUUAAKjM9eHuEg297.jpg

接下来将本地文件的数据上传到HDFS文件夹中:

wKiom1RXI5minCMOAACtC2h6bcQ964.jpg

透过Web控制可以发现我们成功上传了文件:

wKioL1RXI_nALIrcAAPWJ1ijMyU126.jpg

也可通过hadoop的hdfs命令在控制命令终端查看信息:

wKiom1RXI5qQ1B8KAALCAm5Icpg010.jpg

运行Hadoop自带的WordCount例子,执行如下命令:

wKioL1RXI_mAm7NpAAD8jNy3C_A428.jpg

运行过程如下:

wKiom1RXI5rh5sqQAAac3yM0xpU732.jpg

wKioL1RXI_nwoyBQAARnBeVGBBI013.jpg

wKiom1RXI5vzD2mdAAKbb05EY5o005.jpg


本文出自 “Spark亚太研究院” 博客,请务必保留此出处http://rockyspark.blog.51cto.com/2229525/1571250

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(6)