首页 > 代码库 > Hadoop2.x生态系统的常用框架

Hadoop2.x生态系统的常用框架

企业中的比较全面HADOOP的生态架构

技术分享

 

 HDFS :分布式文件系统

 YARN:分布式资源管理

 MapReduce:离线计算框架

 Spark:内存计算框架

 Hive:数据仓库 (HQL),提供一种类SQL的数据处理方法

 Pig:一种数据流语言,用来快速轻松的处理巨大的数据

 HBase:分布式数据库

 Oozie:任务调度

 Sqoop:数据转化工具

 Flume:实时日志收集工具

 Zookeeper:分布式服务框架

 Cloudera Manager:一个Web界面的Hadoop管理系统来进行Hadoop相关服务的安装、配置和监控

 Hue :开源的Apache Hadoop UI系统 (Python Web框架Django实现)

Hadoop2.x生态系统的常用框架