首页 > 代码库 > sqoop的安装和使用

sqoop的安装和使用

2024-07-17 08:52:36   223人阅读

关系行数据库与非关系型数据库之间的数据同步
一、在不使用sqoop的情况下
Mysql-->hive
1.利用naivacat（工具）将数据库中的表导出（导出的时候要主要制表符/t）
2.利用WinSCP（工具）上传到linux指定的目录下
3.先在hive建表 create table 表名(idfa string) row format delimited fields terminated by ‘\t‘"
4.hive -e "load data local inpath ‘t1.txt‘ into table t1"
(如果表里面有数据，需要truncate table hive表名，在执行4）
 truncate table t1;( 只删除表数据)
或者hive -e "load data local inpath ‘t1.txt‘ overwrite into table t1";
hive-->Mysql
1.hive -e "sql语句;>>name.txt"  导出在home/dev
2.然后在利用WinSCP（工具）下载到本地 
二、在使用sqoop的情况下
1.解压sqoop，配置环境变量：
在/etc/profile中添加：(没有root权限是不能修改的，所以只能在sqoop/bin路径下启动)
export $SQOOP_HOME=/home/hadoop/sqoop-1.4.3
export $PATH = $SQOOP_HOME/bin:$PATH
配置完成后要执行 source  etc/profile
2. 解压mysql，将mysql-connector-java-5.1.24-bin.jar放到$SQOOP_HOME/lib里    
把sqoop解压后根目录下的sqoop-1.4.3.jar加入到hadoop-2.2.0/lib里即可。
3. 列出mysql数据库中的所有数据库命令
./sqoop list-databases --connect jdbc:mysql://222.99.11.52:33221/ --username dev --password 1234
4. 将关系型数据的表结构复制到hive中
./sqoop create-hive-table --connect jdbc:mysql://222.99.11.52:33221/sampledata --table t1 --username dev --password 1234 --hive-table /hive/warehouse/t1
5.从关系数据库导入文件到hive中
./sqoop import --connect jdbc:mysql:// 222.206.163.139:33221/sampledata --username dev --password mysql-password --table t1 --hive-import
6.将hive中的表数据导入到mysql中
./sqoop export --connect jdbc:mysql:// 222.206.163.139:33221/sampledata --username dev --password admin --table uv_info --export-dir /user/hive/warehouse/uv/dt=日期
  
 


联系
我们