大数据的基本概念：

1.大数据的产生

       a.科学研究

       b.物联网的应用

       c.海量网络信息的产生

2.大数据概念的提出

3.大数据的“4V”特征

        a.Volume（容量大）：大数据巨大的数据量与数据完整性

        b.Variety（种类多）：要在海量、种类繁多的数据间发现其内在关联

        c.Velocity（速度快）：更快地满足实时性需求

        d.Value（价值密度低）：将信息转化为知识

4.大数据的应用领域

        a.商业

        b.金融

        c.医疗

        d.制造业

大数据的处理流程

1.数据采集

2.数据处理与集成（过滤）

3.数据分析（核心）

4.数据解释（数据可视化）

大数据关键技术

1.云计算和MapReduce

云计算：

       a.服务IaaS

       b.平台即服务PaaS

       c.软件即服务SaaS

MapReduce：

 

2.分布式文件系统

GFS：主要采取主从结构（Master-Slave）,通过数据分块、追加更新等方式实现海量数据的高速存储

3.分布式并行数据库

BigTable：

NOSQL：

4.开源实现平台Hadoop

5.大数据可视化

 

大数据带来的挑战：

1.大数据的安全与隐私问题

2.大数据的集成与管理问题

        a.数据存储

        b.数据清洗

3.大数据的IT技术架构问题

        a.大数据分析技术

        b.数据融合

        c.大数据能耗问题

4.大数据的生态环境问题

【大数据论文笔记】大数据技术研究综述