首页 > 代码库 > Sqoop的安装与测试
Sqoop的安装与测试
【部署安装】
# Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。
# 部署Sqoop到13.33,参考文档:
Sqoop安装配置及演示
http://www.micmiu.com/bigdata/sqoop/sqoop-setup-and-demo/
# Sqoop只需要部署一份,目前部署在13.33,和HadoopMaster一台机器。
【Mysql到HDFS】
# 测试同步mysql数据到HDFS:
sqoop import --connect jdbc:mysql://192.168.12.210/zhangsp --username hive --password 123456 --table test20141105 --warehouse-dir /user/sqoop/12_210 --split-by col1
常用参数说明:
# 默认设置下导入到hdfs上的路径是: /user/username/tablename/(files),比如我的当前用户是hadoop,那么实际路径即:/user/hadoop/demo_blog/(files)。
# 如果要自定义路径需要增加参数:--warehouse-dir,例如:--warehouse-dir /user/sqoop/12_210
# 无主键表的导入需要增加参数 --split-by xxx 或者 -m 1
【Oracle到HDFS】
-- 查看Oracle数据表
sqoop list-tables --connect jdbc:oracle:thin:@192.168.12.222:1521:edu --username edu --password=jyedu
-- 同步到一个HDFS文件
sqoop import --append --connect jdbc:oracle:thin:@192.168.12.222:1521:edu --username edu --password jyedu --target-dir /user/sqoop/12_222_edu/t_ssync_database --num-mappers 1 --table t_ssync_database --columns DB_ID,DB_NAME,DB_DESCRIPTION,DB_TYPE,STATUS,CREATE_DATE --fields-terminated-by ‘\t‘
-- 同步到多个HDFS文件
sqoop import --append --connect jdbc:oracle:thin:@192.168.12.222:1521:edu --username edu --password jyedu --target-dir /user/sqoop/12_222_edu/t_ssync_database_distribute --num-mappers 5 --table t_ssync_database --columns DB_ID,DB_NAME,DB_DESCRIPTION,DB_TYPE,STATUS,CREATE_DATE --fields-terminated-by ‘\t‘ --split-by DB_ID
【Oracle到HBase】
Sqoop之Oracle2HBase
http://f.dataguru.cn/forum.php?mod=viewthread&tid=126765
sqoop import --connect jdbc:oracle:thin:@192.168.12.222:1521:edu --username edu --password jyedu --table t_ssync_database --hbase-create-table --hbase-table h_t_ssync_database --column-family cf_database --hbase-row-key DB_ID -m 1 --columns DB_ID,DB_NAME,DB_DESCRIPTION,DB_TYPE,STATUS,CREATE_DATE
【Oracle到Hive】
sqoop import --hive-import --hive-overwrite --hive-table hive_t_ssync_database --connect jdbc:oracle:thin:@192.168.12.222:1521:edu --username edu --password jyedu -m 2 --split-by DB_ID --columns DB_ID,DB_NAME,DB_DESCRIPTION,DB_TYPE,STATUS,CREATE_DATE --table t_ssync_database
Sqoop工具使用(二)--从oracle导入数据到hive
http://www.xingxingge.com/Hadoop/148.html
Sqoop的安装与测试
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。