课程主要涉及Hadoop Sqoop、Flume、Avro重要子项目的技术实战

课程针对人群

1、本课程适合于有一定java基础知识，对数据库和sql语句有一定了解，熟练使用linux系统的技术人员，特别适合于想换工作或寻求高薪职业的人士

2、最好有Greenplum Hadoop、Hadoop2.0、YARN、Sqoop、FlumeAvro等大数据基础，学习过北风课程《Greenplum 分布式数据库开发入门到精通》、《全面深入Greenplum Hadoop大数据分析平台》、《Hadoop2.0、YARN深入浅出》、《MapReduce、Hbase进阶提升》为最佳。学习QQ704271672

课程大纲

?Sqoop（6课时）

Sqoop产生背景、基本

Sqoop1和Sqoop2架构及特点

Sqoop1安装配置（版本1.4.4）

Sqoop导入介绍

实战：从mysql导入数据到HDFS

实战：从mysql导入数据到Hive

Sqoop导出介绍

实战：将Hive数据导出到Mysql

Sqoop与Hbase结合

Sqoop作业操作

Sqoop作业安全配置

Sqoop2安装配置（版本1.99.3）

Sqoop2使用综合实战

?Flume日志收集系统（7课时）

Flume概念和特点

Flume OG架构、组成、特点、容错机制设计

日志收集系统综合比较

Flume NG架构、核心概念

Flume OG的安装

Flume OG的配置（Web端、Flume shell）

Flume NG的安装配置、测试

Flume NG模块配置（Source、Channel、Sink）

Flume NG配置实战分析

?Avro数据序列化系统（1课时）

Avro介绍

Avro特性、主要作用

RPC使用Avro

Avro与其他序列化系统的区别