首页 > 代码库 > 【大数据论文笔记】大数据技术研究综述

【大数据论文笔记】大数据技术研究综述

大数据的基本概念:

1.大数据的产生

       a.科学研究

       b.物联网的应用

       c.海量网络信息的产生

2.大数据概念的提出

image

3.大数据的“4V”特征

        a.Volume(容量大):大数据巨大的数据量与数据完整性

        b.Variety(种类多):要在海量、种类繁多的数据间发现其内在关联

        c.Velocity(速度快):更快地满足实时性需求

        d.Value(价值密度低):将信息转化为知识

4.大数据的应用领域

        a.商业

        b.金融

        c.医疗

        d.制造业

大数据的处理流程

image

image

 

1.数据采集

2.数据处理与集成(过滤)

3.数据分析(核心)

4.数据解释(数据可视化)

大数据关键技术

1.云计算和MapReduce

云计算:

       a.服务IaaS

       b.平台即服务PaaS

       c.软件即服务SaaS

MapReduce:

image

 

2.分布式文件系统

GFS:主要采取主从结构(Master-Slave),通过数据分块、追加更新等方式实现海量数据的高速存储

image

3.分布式并行数据库

BigTable:

image

NOSQL:

image

4.开源实现平台Hadoop

image

5.大数据可视化

 

大数据带来的挑战:

1.大数据的安全与隐私问题

2.大数据的集成与管理问题

        a.数据存储

        b.数据清洗

3.大数据的IT技术架构问题

        a.大数据分析技术

        b.数据融合

        c.大数据能耗问题

4.大数据的生态环境问题

【大数据论文笔记】大数据技术研究综述