首页 > 代码库 > Oozie_03运行官方案例【20161116】

Oozie_03运行官方案例【20161116】

3.1官方的案例

(1)Oozie根目录下找到 oozie-examples.tar.gz

(2)解压tar -zxvf oozie-examples.tar.gz  生成example文件夹

[hadoop@hadoop01 oozie-4.0.0-cdh5.3.6]$ tar -zxvf oozie-examples.tar.gz

 技术分享

 

(3)拷贝(2)新生成的examplesHDFS的用户家目录下

[hadoop@hadoop01 hadoop-2.5.0-cdh5.3.6]$

bin/hdfs dfs -put /opt/cdh-5.3.6/oozie-4.0.0-cdh5.3.6/examples examples

 技术分享

 

(4)查看examples里面内容

三个目录apps   input-data   src,三个目录主要功能及截图如下

 技术分享

 

apps官方自带的workflow的案例,有hive mapreduce.....

 技术分享

input-data输入的数据

src源码包

 技术分享

 

(5)配置案例自带的mapreduce程序

查看其中一个mao-reduce案例,里面有五个文件:

 

job.properties:两个作用:指定workflow的地址  声明相关变量

           nameNode=主机名   

           jobTracker 端口为8032resourcemanger地址

           queueName队列名称不改  

           examplesRoot

           ooize.wf.application.path=主机名/用户名/..    指定了workflow的地址

原有内容

技术分享

修改下面内容  修改了nameNodejobTracker两处

 技术分享

 

 

lib  存放jar 【不用修改】

 

workflow.xml :实际运行的workflow【运行该案例这个配置不用修改】

prepare标志作用对提前删除输出目录

.输出目录同输入目录同建立在/user/hadoop/examples下面(如下图)

configuration标志对

 技术分享

 

  

job-with-config-class.properties  【不修改】

workflow-with-config-class.xml  【不修改】

 

 

(6)修改oozie-site.xml

修改前内容

 技术分享

 

该属性修改为hadoop的配置文件

 技术分享

 

注意:  *=不能删除

 

(7)重启oozie

[hadoop@hadoop01 oozie-4.0.0-cdh5.3.6]$ bin/oozied.sh stop

[hadoop@hadoop01 oozie-4.0.0-cdh5.3.6]$ bin/oozied.sh start

(8)再次提交

[hadoop@hadoop01 oozie-4.0.0-cdh5.3.6]$ bin/oozie job -oozie http://hadoop01:11000/oozie -config examples/apps/map-reduce/job.properties -run

命令行界面

 

Oozie图形界面

 技术分享

 

(9)总结

第一点:运行时指定的job.properties文件是本地的,不是hdfs上面的,不过建议修改完该properties文件最好重新上次,把整个包重新上传

第二点:运行一个workflow 启动了两个mapreduce

        一个是oozielauncher 用于对workflow进行封装(封装程序只有map任务)

        一个是oozieaction 执行的mapreduce

利用8088端口查看

 技术分享

 

 

 

actionlauncher只有map任务

 技术分享

 

Oozie_03运行官方案例【20161116】