用到的软件：Hadoop-2.4.0、scala-2.10.4、spark-1.1.0

一、预备工作

配好ssh

二、配置工作

首先配置Hadoop 这个可以参考官方网站电接点配置http://hadoop.apache.org/docs/r2.5.1/hadoop-project-dist/hadoop-common/SingleCluster.html

1、Hadoop2的配置文件在etc/hadoop目录下，需要修改的文件有core-site.xml、hadoop-env.sh、hdfs-site.xml、slaves

core-site.xml

<configuration>    <property>        <name>fs.defaultFS</name>        <value>hdfs://master:9000</value>

</configuration>

Spark 入门学习