首页 > 代码库 > DataX编译安装

DataX编译安装

1、  手动安装ant、

1. 到Apache官网下载最新版本的ant:http://ant.apache.org/bindownload.cgi

2. 解压下载下来的.tar.gz文件: tar -zxvfapache-ant-1.8.2-bin.tar.gz(可能会要求输入密码)

3.将解压出来的文件移动到/home/下:sudo mvapache-ant-1.8.2 /home/ (sudo不能省,否则没有权限)

4.配置环境变量:sudogedit /etc/profile,在最后添加以下内容:

                   exportANT_HOME=opt/apache-ant-1.8.4
                 exportJAVA_HOME=/usr/jdk           (这是你自己jdk所在的路径)
           export PATH=$JAVA_HOME/bin:$PATH:$ANT_HOME/bin
                 exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

5.然后执行命令:source /etc/profile

         6.Ant就配置成功了,可以通过命令:ant -version  进行检测是否配置成功。

2、安装g++,rpm

Sudo apt-getinstall g++

Sudo apt-getinstall rpm

 

3、请确保安装DataX的机器已经安装上了Hdfs客户端,并能够正常访问Hdfs文件系统,例如使用命令行: hadoop fs -ls /

同时请确保在执行DataX的用户/home目录下,链接Hadoopconfig目录文件,例如在用户目录下执行

ln  -s  /home/$user/datax/ conf  /hadoop/conf

4、安装mysql

Sudo apt-get install mysql-server

登录mysql -uroot –p密码(p后面紧跟mysql密码)

grant all privileges on *.* to woody@‘localhost‘ identified by ‘woody‘with grant option;

create database xdata;

use xdata;

create table test_datax(user_id int,user_name varchar(30));

insert into test_datax values(111, ‘peterlee‘);

insert into test_datax values(111, ‘peterlee‘);

insert into test_datax values(111, ‘peterlee‘);

FLUSH PRIVILEGES;

执行\q保存并退出mysql

5、安装hadoop(本文为伪分布式安装)

1)安装

tar xf hadoop-1.0.3.tar.gz   

mv hadoop-1.0.3 /home/sunlylorn/hadoop  

2)修改环境变量

vim ~/.bashrc  

添加:

export PATH=/home/sunlylorn/hadoop/bin:$PATH  

保存退出,输入以下命令使之立即生效。

source ~/.bashrc   

3)修改conf/hadoop-env.sh文件

export JAVA_HOME=/usr/lib/jvm/java-7-sun  

4)编辑配置文件
a)修改conf/core-site.xml:

<configuration>  

  <property>    

    <name>fs.default.name</name>    

    <value>hdfs://localhost:9000/</value>    

  </property>    

</configuration>  

b)修改conf/mapred-site.xml:

<configuration>    

  <property>    

    <name>mapred.job.tracker</name>    

    <value>localhost:9001</value>    

  </property>    

</configuration>  

c)修改conf/hdfs-site.xml:

<configuration>    

  <property>    

    <name>dfs.replication</name>    

    <value>1</value>    

  </property>    

</configuration>   

5)格式化HDFS系统

hadoop namenode -format  

6)启动守护进程

/home/sunlylorn/hadoop/bin/start-all.sh --config /home/sunlylorn/hadoop/conf  

7)测试

执行

hadoop version  

如果输出以下信息则表明安装成功

Hadoop 1.0.3  

Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.0 -r 1335192  

Compiled by hortonfo on Tue May  8 20:19:10 UTC 2012  

From source with checksum e6b0c1e23dcf76907c5fecb4b832f3be  

 

6、安装编译datax

从淘宝的开源svn上checkout一份代码

svn co http://code.taobao.org/svn/datax/trunk datax

用当前系统hadoop中的hadoop-core-xxxx.jar 替换(或者直接复制到)datax/libs下面的jar包

 

在datax/rpm下面有spec文件,rpm打包的配置文件

rpmbuild --ba XXXXX.spec (例如,t_dp_datax_engine.spec,记得修改spec文件中的路径问题,路径问题还存在于下面的xml文件中以及后面编译过程中需要自己创建部分路径e.g xxxxxxxxxxxxi386之类)

要想完成一个读写至少需要打包编译3个文件:engine.spec+reader.spec+writer.spec

编译完成后会在datax/plugins中生成相应的文件(这里也可能涉及到自己创建路径的问题)

Rpm 制作完成后,即可分发、安装,例如使用

rpm -ivh  t_dp_datax_engine.rpm (这里可能需要添加一个参数-nodeps,即rpm –ivh –nodeps   xxxxx.rpm)

即可安装 DataXengine  包,需要注意的是 engine 的 rpm 地址源自于上图的截图

中信息(即生成的路径为RPMS中的xxx.rpm文件)。

在datax/bin目录下执行 pythondatax.py -e true 生成一个job配置文件 XXXXXXXXXXXXXX.xml   (这里的xml文件中的部分内容需要修改e.g数据库的的ip及数据库名字等信息,配置时需要注意hadoop.job.ugi=woody,supergroup及hdfs://localhost:9000/test_in及hadoop_conf=/home/woody/hadoop/conf/core-site.xml)

ptyhon datax.py  /home/$user/datax/jobs/XXXXXXXXXXX.xml

 


 

 

DataX编译安装