首页 > 代码库 > spark-submit 提交任务到yarn执行

spark-submit 提交任务到yarn执行

spark-submit --name SparkSubmit_Demo --class com.luogankun.spark.WordCount --master yarn-client --executor-memory 1G --total-executor-cores 1 /home/spark/data/spark.jar hdfs://hadoop000:8020/hello.txt

注:提交yarn上执行需要配置HADOOP_CONF_DIR

 

spark在提交时,所做的资源申请是一次性完成的,也就是说对某一个具体的Application,它所需要的Executor个数是一开始就是计算好,整个Cluster如果此时能够满足需求则提交,否则进行等待。而且如果有新的结点加入整个cluster,已经运行着的程序并不能使用这些新的资源。缺少rebalance的机制(摘自许鹏博客内容)。

 

详细信息参见官方文档:http://spark.apache.org/docs/latest/submitting-applications.html