首页 > 代码库 > hadoop入门学习系列之六hadoop学习之sqoop安装

hadoop入门学习系列之六hadoop学习之sqoop安装

1.下载安装包及解压
   tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
2.配置环境变量和配置文件
cd 到 sqoop解压目录
cp conf/sqoop-env-template.sh /conf/sqoop-env.sh
在sqoop-env.sh中添加如下代码:
export HADOOP_COMMON_HOME=/home/hadoop/opt/hadoop-2.6.0
export HADOOP_MAPRED_HOME=/home/hadoop/opt/hadoop-2.6.0
export HBASE_HOME=/home/hadoop/opt/hbase-1.1.0.1
export HIVE_HOME=/home/hadoop/opt/apache-hive-1.2.1-bin
export ZOOCFGDIR=/home/hadoop/opt/zookeeper-3.4.6
(如果数据读取不设计hbase和hive,那么相关hbase和hive的配置可以不加,如果集群有独立的zookeeper集群,那么配置zookeeper,反之,不用配置)。
 
3.copy需要的lib包到Sqoop/lib
cp MySQL-connector-Java-5.1.7.jar ~/sqoop/lib/
cp jdbcsql4.jar  ~/sqoop/lib/
 

4.添加环境变量

gedit /etc/profile

export SQOOP_HOME=/home/hadoop/opt/sqoop-1.4.6.bin__hadoop-2.0.4-alpha5

export PATH=$SQOOP_HOME/bin:$PATH

export LOGDIR=$SQOOP_HOME/logs

 

5.测试sqoop是否安装正确

sqoop list-databases \

--connect ‘jdbc:sqlserver://10.10.0.3:1433;instance=SQL2008;username=BGDbo;password=bgdbo123;database=LuxeDc‘

就是每次执行$SQOOP_HOME/bin/sqoop脚本的时候总是抱一个错误:

Error: Could not find or load main class org.apache.sqoop.Sqoop

这是因为找不到sqoop-1.4.5.jar文件导致的。

从网上搜了很多解决办法,具体的做法是:将sqoop-1.4.5.jar文件拷贝到$HADOOP_HOME/lib目录下一份,可是我照做的,但问题还是依旧,一周了,我实在是到了要放弃的地步了,开始怀疑自己的能力了都!

今天我在绝望之时,打开sqoop脚本看了一下,发现脚本的最后有这样一句:

exec HADOOPCOMMONHOME/bin/hadooporg.apache.sqoop.Sqoop"HADOOPCOMMONHOME/bin/hadooporg.apache.sqoop.Sqoop"@"

这个应该就是执行hadoop jar命令的地方,看到这里或许你应该明白这个错误该怎么解决了吧?

解决办法

修改$SQOOP_HOME/bin/sqoop脚本:

* 修改前:

exec HADOOPCOMMONHOME/bin/hadooporg.apache.sqoop.Sqoop"HADOOPCOMMONHOME/bin/hadooporg.apache.sqoop.Sqoop"@"

* 修改后:

exec ${HADOOP_COMMON_HOME}/bin/hadoop jar $SQOOP_HOME/sqoop-1.4.5.jar org.apache.sqoop.Sqoop "$@"

即:显示指定sqoop-1.4.5.jar文件的所在位置。

然后执行sqoop help命令,就不会再报Could not find or load main class org.apache.sqoop.Sqoop 的错误了。

 

hadoop入门学习系列之六hadoop学习之sqoop安装