首页 > 代码库 > Spark2 文件处理和jar包执行

Spark2 文件处理和jar包执行

上传数据文件

mkdir -p data/ml/ /home/wangxiao/data/ml/Affairs.txt

hadoop fs -mkdir -p /datafile/wangxiao/

hadoop fs -ls / hadoop fs -put /home/wangxiao/data/ml/Affairs.txt /datafile/wangxiao/

hadoop fs -ls -R /datafile

hdfs://ns1/datafile/wangxiao/Affairs.txt

 

执行jar包  

  mkdir -p jar/

  $SPARK_HOME/bin/spark-submit \  

  --class "ML2" \  

  --master local[2] \  

  /home/huai/jar/test.jar

 

下载数据文件到本地

hadoop fs -get  /datafile/wangxiao/Affairs.txt  /home/wangxiao/data/ml/

 

删除HDFS上的文件

hadoop fs -rm -r -f /datafile/wangxiao/data*

Spark2 文件处理和jar包执行