首页 > 代码库 > Spark脚步文件作用说明
Spark脚步文件作用说明
见明知意的文件名,还用我来介绍??可以说我闲的蛋疼,反正我已经做了记录了,哈哈
sbin目录下的脚本文件
slaves.sh 在所有定义在${SPARK_CONF_DIR}/slaves的机器上执行一个shell命令 spark-config.sh 被其他所有的spark脚本所包含,里面有一些spark的目录结构信息 spark-daemon.sh 将一条spark命令变成一个守护进程 spark-daemons.sh 在所有定义在${SPARK_CONF_DIR}/slaves的机器上执行一个spark命令 spark-executor 运行org.apache.spark.executor.MesosExecutorBackend,具体作用暂时没关注 start-all.sh 启动master进程,以及所有定义在${SPARK_CONF_DIR}/slaves的机器上启动Worker进程 start-history-server.sh 启动历史记录进程 start-master.sh 启动spark master进程 start-slave.sh 启动某机器上spark slave进程 start-slaves.sh 在所有定义在${SPARK_CONF_DIR}/slaves的机器上启动Worker进程 stop-all.sh 在所有定义在${SPARK_CONF_DIR}/slaves的机器上停止Worker进程 stop-history-server.sh 停止历史记录进程 stop-master.sh 停止spark master进程 stop-slaves.sh 停止某机器上spark slave进程
bin目录下的脚本文件
这个目录下有很多.cmd的脚步,就不管了,只关注在linux上可能用到的脚步
compute-classpath.sh 计算spark的classpath并打印出来 load-spark-env.sh 加载spark-env.sh中的配置信息,确保仅会加载一次 run-example 运行example需要用到 spark-class 内部最终为变成用java运行java类 spark-shell Spark Shell连接spark 集群 spark-submit 提交作业到master
写完后发现一哥们更有意思,把所有脚步的执行流程都解释出来了,可以移步到这里去看
http://www.cnblogs.com/hujunfei/category/563669.html
收工
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。