首页 > 代码库 > Hadoop应用开发实战案例 第1周

Hadoop应用开发实战案例 第1周

 

本课程的基础课程是,Hadoop数据分析平台课程。相信,能看我本博文的朋友,是有一定的基础了。

技术分享

只是前个课程是讲解,这个课程是应用。

 技术分享

第一层是:数据源层,代表有生产线上的数据,比如关系型数据库orcal,电子商务网站,网站的访问日志。

第二层是:数据仓库或数据集层。

第三层是:数据探索层,如要列出本月话费达到500元的用户等,理解为对数据的简单一些加工。

第四层是:数据挖掘层,主要是以知识挖掘为主。

 

数据探索层和数据挖掘层的区别:

比如,数据挖掘层,不是求什么平均多少,指标,而是隐藏的规律和知识、模型。

有一大堆身高体重的数据,感兴趣的不是说每个年龄段的身高体重,最大身高多少,最小身高多少,,,而是感兴趣的是身高跟体重是一个怎样的规律关系。这才是数据挖掘层。

第五层:数据表示层,按照它的情况来画图。比如画散点图,给予直观的感受。

第六层:数据决策层

 

Hdfs来保存数据,hive来作数据仓库,Hbase来数据库

 

注意:我们的课程是定位在数据探索层、数据挖掘层、数据决策层。

 

 

技术分享

 技术分享

 

 

 

数据挖掘,在不同场景下,叫法不同。如机器学习下的人工智能。其实,所使用的技术基本一样,可理解为同一座山峰,不同的侧面罢了。

 技术分享

技术分享

 

技术分享

技术分享

 

 

 技术分享

技术分享

 

 

 

 

 技术分享

 

技术分享

 技术分享

 

技术分享

 

技术分享

 技术分享

 

技术分享

 

 

 技术分享

 

 

 技术分享

 

 技术分享

技术分享

技术分享

技术分享

技术分享

技术分享

 

 技术分享

 

 技术分享

 技术分享

 

 技术分享

 

 

 技术分享

技术分享

 

 

 

技术分享

 

 技术分享

技术分享

技术分享

技术分享

技术分享

 

 

 技术分享

技术分享

技术分享

 技术分享

 

 

技术分享

技术分享

 

 

 技术分享

 

 

 技术分享

 

技术分享

 

 

 技术分享

 

 

 

 

 技术分享

 

Hadoop应用开发实战案例 第1周