首页 > 代码库 > Azkaban 2.5.0 搭建

Azkaban 2.5.0 搭建

2024-07-11 13:27:59   217人阅读

一、前言

最近试着参照官方文档搭建 Azkaban，发现文档很多地方有坑，所以在此记录一下。

二、环境及软件

安装环境：

  • 系统环境： ubuntu-12.04.2-server-amd64
  • 安装目录： /usr/local/ae/ankaban
  • JDK 安装目录： export JAVA_HOME=/usr/local/ae/jdk1.7.0_51
  • Hadoop 安装目录 export HADOOP_HOME=/usr/local/ae/hadoop-1.2.1
  • Mysql 版本：mysql-server-5.5

需要软件：

  • azkaban-web-server-2.5.0.tar.gz 
  • azkaban-executor-server-2.5.0.tar.gz
  • azkaban-sql-script-2.5.0.tar.gz
  • azkaban-jobtype-2.5.0.tar.gz

Azkaban source： github.com/azkaban/azkaban

Azkaban plugin source：github.com/azkaban/azkaban-plugins

doc：azkaban.github.io/azkaban/docs/2.5/

 三、配置Mysql

  1.  解压azkaban-sql-script-2.5.0.tar.gz
    user@ae01:/usr/local/ae/azkaban$ tar -zxvx azkaban-sql-script-2.5.0.tar.gz
  2. 登录Mysql 创建Database azkaban
    user@ae01:/usr/local/ae/azkaban$ mysql -u root -pEnter password:Welcome to the MySQL monitor.  Commands end with ; or \g.Your MySQL connection id is 165Server version: 5.5.37-0ubuntu0.12.04.1 (Ubuntu)Copyright (c) 2000, 2014, Oracle and/or its affiliates. All rights reserved.Oracle is a registered trademark of Oracle Corporation and/or itsaffiliates. Other names may be trademarks of their respectiveowners.Type ‘help;‘ or ‘\h‘ for help. Type ‘\c‘ to clear the current input statement.mysql> create database azkaban;
  3. 创建 Azkaban 表格
    mysql> use azkabanReading table information for completion of table and column namesYou can turn off this feature to get a quicker startup with -ADatabase changedmysql> source /usr/local/ae/azkaban/azkaban-2.5.0/create-all-sql-2.5.0.sql
  4. 为 Azkaban 创建用户 azkaban
    mysql> grant all privileges on azkaban.* to ‘azkaban‘@‘localhost‘ identified by ‘azkaban‘;mysql> flush privileges;

四、配置 azkaban-web

  1. 解压 azkaban-web-server-2.5.0.tar.gz
    user@ae01:/usr/local/ae/azkaban$ tar -zxvx azkaban-web-server-2.5.0.tar.gz
  2. 生成SSL 证书
    关于怎么使用 Java keytool 生成 keystore 和 Truststore 文件 可以参考我之前的随笔。
    在这里可以只简单的生成 keystore 文件，并将生成的 keystore 文件拷贝至 /usr/local/ae/azkaban/azkaban-web-2.5.0/web 文件下。
    本文中证书文件为 keystone， keypass 为 kestore。
  3. 修改 ./conf/azkaban.properties
    #Azkaban Personalization Settingsazkaban.name=Azkabanazkaban.label=My Local Azkabanazkaban.color=#FF3601azkaban.default.servlet.path=/indexweb.resource.dir=../web/default.timezone.id=America/Los_Angeles#Azkaban UserManager classuser.manager.class=azkaban.user.XmlUserManageruser.manager.xml.file=../conf/azkaban-users.xml#Loader for projectsexecutor.global.properties=../conf/global.propertiesazkaban.project.dir=../projectsproject.temp.dir=../temptrigger.plugin.dir=../plugins/triggersdatabase.type=mysqlmysql.port=3306mysql.host=localhostmysql.database=azkabanmysql.user=azkabanmysql.password=azkabanmysql.numconnections=100# Velocity dev modevelocity.dev.mode=false# Azkaban Jetty server properties.jetty.maxThreads=25jetty.ssl.port=8443jetty.port=8081jetty.keystore=../web/keystorejetty.password=keystorejetty.keypassword=jetty-azkabanjetty.truststore=../web/keystorejetty.trustpassword=keystore# Azkaban Executor settingsexecutor.port=12321# mail settingsmail.sender=***********************mail.host=***********************mail.user=************************mail.password=******job.failure.email=*************************job.success.email=*************************lockdown.create.projects=falsecache.directory=../cache

     * 上文中红色标记的选项区别于官网的配置，其中某些选项如果参照官网将抛出 Exception 或 Error log。

  4. 启动 azkaban-web
    user@ae01:/usr/local/ae/azkaban/azkaban-web-2.5.0/bin$ sh azkaban-web-start.sh
  5. 登录 https:ae01:8443 username:azkaban; password:azkaban
  6. 修改 azkaban-web 启动文件
    如果发现无法上传文件，需要修改 azkaban-web 的启动脚本 azkaban-web-start.sh
    if [[ -z "$tmpdir" ]]; then    --->    if [ -z "$tmpdir" ]; then

五、配置 azkaban-executor

  1. 解压 azkaban-executor-server-2.5.0.tar.gz
    user@ae01:/usr/local/ae/azkaban$ tar -zxvx azkaban-executor-server-2.5.0.tar.gz
  2. 配置 ./conf/azkaban.properties
    #Azkabandefault.timezone.id=America/Los_Angeles# Azkaban JobTypes Pluginsazkaban.jobtype.plugin.dir=plugins/jobtypes#Loader for projectsexecutor.global.properties=../conf/global.propertiesazkaban.project.dir=../projectsazkaban.execution.dir=../executionsproject.temp.dir=../tempdatabase.type=mysqlmysql.port=3306mysql.host=localhostmysql.database=azkabanmysql.user=azkabanmysql.password=azkabanmysql.numconnections=100# Azkaban Executor settingsexecutor.maxThreads=50executor.port=12321executor.flow.threads=30

     * 上文中红色标记的选项区别于官网的配置，其中某些选项如果参照官网将抛出 Exception 或 Error log。

  3. 配置 jobtype 插件
    解压 azkaban-jobtype-2.5.0.tar.gz 至 ./plugins 并重命名为 jobtypes
    user@ae01:/usr/local/ae/azkaban/azkaban-executor-2.5.0/plugins$ tar -zxvx azkaban-jobtype-2.5.0.tar.gzuser@ae01:/usr/local/ae/azkaban/azkaban-executor-2.5.0/plugins$ mv ./azkaban-jobtype-2.5.0 ./jobtypes

    配置 ./conf/common.propertes

    ## everything that the user job can knowhadoop.home=/usr/local/ae/hadoop-1.2.1#hive.home=#pig.home=azkaban.should.proxy=truejobtype.global.classpath=${hadoop.home}/hadoop-core-1.2.1.jar,${hadoop.home}/conf
  4. 启动 azkaban-executor
    user@ae01:/usr/local/ae/azkaban/azkaban-executor-2.5.0/bin$ sh azkaban-executor-start.sh


联系
我们