首页 > 代码库 > Spark2 文件处理和jar包执行
Spark2 文件处理和jar包执行
上传数据文件
mkdir -p data/ml/ /home/wangxiao/data/ml/Affairs.txt
hadoop fs -mkdir -p /datafile/wangxiao/
hadoop fs -ls / hadoop fs -put /home/wangxiao/data/ml/Affairs.txt /datafile/wangxiao/
hadoop fs -ls -R /datafile
hdfs://ns1/datafile/wangxiao/Affairs.txt
执行jar包
mkdir -p jar/
$SPARK_HOME/bin/spark-submit \
--class "ML2" \
--master local[2] \
/home/huai/jar/test.jar
下载数据文件到本地
hadoop fs -get /datafile/wangxiao/Affairs.txt /home/wangxiao/data/ml/
删除HDFS上的文件
hadoop fs -rm -r -f /datafile/wangxiao/data*
Spark2 文件处理和jar包执行
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。