首页 > 代码库 > 数据开发(持续梳理)
数据开发(持续梳理)
数据开发相关的经验不是很多,目前已自己对这块工作的理解,先初步整理下。
所谓数据开发是面向数据仓库的开发,所以结合一般数据仓库的架构主要有几个方面的生态内容。
1、数据采集
mysql等关系型数据的搜集
分布式日志搜集(flume、kafka)
2、数据存储
hdfs
3、数据计算(离线、实时)
mr、hive、spark、spark sql
spark streaming 、 storm
4、数据应用
BI系统、数据报表可视化、机器学习
数据开发(持续梳理)
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。