首页 > 代码库 > 数据开发(持续梳理)

数据开发(持续梳理)

数据开发相关的经验不是很多,目前已自己对这块工作的理解,先初步整理下。

所谓数据开发是面向数据仓库的开发,所以结合一般数据仓库的架构主要有几个方面的生态内容。

1、数据采集

mysql等关系型数据的搜集

分布式日志搜集(flume、kafka)

2、数据存储

hdfs

3、数据计算(离线、实时)

mr、hive、spark、spark sql

spark streaming 、 storm

4、数据应用

BI系统、数据报表可视化、机器学习

数据开发(持续梳理)