首页 > 代码库 > spark-submit 提交任务到yarn执行
spark-submit 提交任务到yarn执行
spark-submit --name SparkSubmit_Demo --class com.luogankun.spark.WordCount --master yarn-client --executor-memory 1G --total-executor-cores 1 /home/spark/data/spark.jar hdfs://hadoop000:8020/hello.txt
注:提交yarn上执行需要配置HADOOP_CONF_DIR
spark在提交时,所做的资源申请是一次性完成的,也就是说对某一个具体的Application,它所需要的Executor个数是一开始就是计算好,整个Cluster如果此时能够满足需求则提交,否则进行等待。而且如果有新的结点加入整个cluster,已经运行着的程序并不能使用这些新的资源。缺少rebalance的机制(摘自许鹏博客内容)。
详细信息参见官方文档:http://spark.apache.org/docs/latest/submitting-applications.html
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。