首页 > 代码库 > ETL Automation完整安装方法_(元数据存放在mysql数据库)
ETL Automation完整安装方法_(元数据存放在mysql数据库)
安装前介质准备:
DBI-1.636.tar.gz
DBD-mysql-4.037.tar.gz
ETL.tar
Perl下载地址:
第一部分 Mysql数据库安装
链接如:http://jingyan.baidu.com/article/a378c9609eb652b3282830fd.html
第二部分 Perl模块安装
1) 检查当前perl版本命令:perl -v
查看已安装perl模块命令:perldoc perllocal
2) DBI模块为DBI-1.636.tar.gz
方法与DBD模块一样
3) DBD模块为 DBD-mysql-4.037.tar.gz
tar xvzf DBD-mysql-4.037.tar.gz
cd DBD-mysql-4.037
perl Makefile.PL
make
make test
make install
5) 其它模块 …
6) 在/etc/profile 增加如下变量
export PATH=/usr/local/mysql/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/lib/mysql
7) 测试test.perl脚本连接mysql是否成功
第三部分 Automation安装
1) 在linux系统下,创建etl用户
groupadd etl
useradd -g etl -m -d /home/etl -s /bin/bash etl
2) 切换到etl用户,在/home/etl添加环境变量 vi .bashrc,然后使之生效 source .bashrc
AUTO_HOME=/opt/ETL; export AUTO_HOME;
AUTO_DSN=tdvm; export AUTO_DSN;
AUTO_DB=etlauto; export AUTO_DB;
AUTO_SERVER=ETL1; export AUTO_SERVER;
AUTO_SERVER_IP=192.168.152.100; export AUTO_SERVER_IP;
AUTO_AGENT_PORT=6346; export AUTO_AGENT_PORT;
AUTO_WDOG_PORT=6346; export AUTO_WDOG_PORT;
AUTO_PRIMARY_SERVER=0; export AUTO_PRIMARY_SERVER;
ODBCINI=$HOME/.odbc.ini;export ODBCINI
LD_LIBRARY_PATH=$LD_LIBRARY_PATH :/opt/teradata/client/14.00/odbc_64/lib:/usr/local/lib; export LD_LIBRARY_PATH
3) 上传ETL.tar到/opt/目录,并解压
tar xvf ETL.tar
5) 修改etl_unix.pm和tools.pm两个文件的数据库连接信息
my $dbh = DBI->connect("DBI:mysql:database=etlauto;host=10.161.166.51", "root", "123456",
6) 切换到root用户,授予etl用户/opt/ETL权限
chown -R etl:etl /opt/ETL
7) 上传yhddw.pm到该目录下 /usr/lib64/perl5/vendor_perl/
8) 切换到etl用户,清空 /opt/ETL/lock 下的文件 rm –rf etl*
然后在/opt/ETL/bin目录下执行sh start.sh
9) 查看Automation 5个进程是否启动:
方法一:ps –ef | grep pl
方法二:/opt/ETL/LOG
主要查看etlmaster.out
第四部分 配置ETLAdmin
4.1,导入项目
1) 将ETLAdmin261复制到workspace文件下
2) 打开eclipse,选择
File—Import
General--Existing Projects into Workspace
Select root directory – Browse—接着选择第一步“ETLAdmin261”的文件位置
选中copy projects into workspace Finish
4.2,导入jar包
1) 先删除lib下的jia包
2) Build Path—Configure Build Path
3) Java Buidl Path—Libraries—Add JARs
4.3,修改数据库配置信息
ETL Automation完整安装方法_(元数据存放在mysql数据库)