首页 > 代码库 > 运维系列:08、Spark Shell
运维系列:08、Spark Shell
./bin/spark-shell --master spark://MASTER:PORT
启动
集群模式:
MASTER=spark://`hostname`:7077 bin/spark-shell
bin/spark-shell --master spark://es122:7077
单机模式:
bin/spark-shell local[4]
加载一个text文件
Spark context available as sc.
连接到Spark的master之后,若集群中没有分布式文件系统,Spark会在集群中每一台机器上加载数据,所以要确保集群中的每个节点上都有完整数据。
wget http://www-stat.stanford.edu/~tibs/ElemStatLearn/datasets/spam.data
单机时:
var inFile = sc.textFile("./spam.data")
集群时:
import org.apache.spark.SparkFiles;
var file = sc.addFile("spam.data")
var inFile = sc.textFile(SparkFiles.get("spam.data"))
处理
文件的一行,按空格拆分,然后转成double。
var nums = inFile.map(x => x.split(" ").map(_.toDouble))
注:x => x.toDouble 等价于_.toDouble
查看:
inFile.first()
nums.first()
逻辑回归:
import org.apache.spark.util.Vector
case class DataPoint(x: Vector, y: Double)
def parsePoint(x: Array[Double]): DataPoint = {
DataPoint(new Vector(x.slice(0, x.size-2 )), x(x.size -1 ))
}
运维系列:08、Spark Shell
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。