原文请详见：http://www.ucai.cn/blogdetail/7033?mid=1&f=5

能够在线执行查看效果哦！

今天这堂课，分为三个大点，正如标题所指出的，是讨论数据的本质、概念与应用实践。第一点本质的探讨是站在一个更高的高度来分析数据的产生以及各种使用场景，然后将数据相关的存储手段，作一个汇总解说。而概念，则是一个串讲，主要放在关系数据库上，由于我们六月份公开课，也将以关系型数据库为主。第三点就是通过一些实例来巩固前面两点所讲的内容。

一、数据库的出现源起和本质

1.1 数据库的起源

想像一下我们的电脑，有文件夹，有文件，文件有大小，有位置，有格式，这个是有文件系统開始就有这个概念的，肯定在有一个地方，存储了这些文件的參数或者元数据，而在我们的日常生活中，每个物体和人，都有其各自不同的特征，当一批量的这些可描写叙述的人的特征，想要数据化存储起来的时候，也就须要有一种格式来保存。除了保存数据之外，我们还得对数据进行管理。这就是数据库出现的背景，而且随着使用场景的越加复杂，数据库本身也有了很多其它的衍生版本号。

所以数据库起源于对数据的存储以及管理。

1.2数据库的使用场景

那么我们有几个问题，基于大家眼下的理解，第一个问题是有哪些须要保存的数据种类，有哪些存储方式呢？我们发散一点来想。

能够得到例如以下的情况：

A、在程序中自己定义，比方数组，仅仅保存在内存里，等程序停止了之后，数据就没有了。这样能够不能够？

在这个里面存储的反正是描写叙述型数据，也能够是二进制数组。 

B、保存在一个文本文件中能够不能够，有自己的格式，比方自己定义的格式，比方XML，比方JSON格式

这里保存的，仅仅能是描写叙述型数据。

C、採用一些文件型数据库，比方支持SQL訪问的文本数据库，比方Sqlite、比方Access

除了特定的数据类型，一般也仅仅保存文本描写叙述数据。

D、採用 MySQL 这样基于网络和可分布式的数据库系统。

用来保存较多数据量的用户数据、关系数据、交易数据，这些数据要实再高速查询更新。

E、当数据量大时，一台设备就不能满足要求，这就须要用到分布式数据库，可能是数据集群。 

F、採用 memcached 这种软件保存着缓存的数据。

一般用于保存文本数据或者计数。

G、採用 fastdfs 这种分布式文件系统来保存着文件数据。

不用于保存除文件本身描写叙述之外的其它描写叙述数据，用于保存大量的文件。

H、採用redis 这种KVDB 软件来保存简单关系的描写叙述数据，或者特定的结构。

比方用于保存微博数据，用KEY能够迅速定位到微博内容。 

I、同KVDB类似的，大家有听过队列那几讲的同学吗？是不是也是特殊的数据存储手段呢？一边有人生产数据，一边有人消费数据。 

J、用于保存地理关系数据，并提供运算。在英文里叫SpatialData，也就是空间数据。Oracle最擅长，如今MySQL也有空间扩展。

http://dev.mysql.com/doc/refman/5.1/zh/spatial-extensions-in-mysql.html

K、而对于大量的，源源不断的海量数据，相对不那么规则的数据存储，我们可能存储在Hadoop系统中。

L、最后再谈一个场景，像百度这种搜索引擎，他会把他的数据全放在MySQL里，然后去检索吗？显然不是。有自有的索引格式和支持分布式查询的系统。

1.3数据库场景以及分类总结

总结一下：

A、在电脑时代曾经，人类就产生了大量的信息，而电脑时代以来，更是产生了大量的数字化的数据。而这些数据库的保存的形式，从上面能够看到，根据不同的场景，不同的保存方式，是多种多样的。有仅在内存中保存，有在文件里保存，有专用严谨的数据库系统保存，也有不那么严谨的KVDB保存。 

B、依据上面的各种存储场景，我们对数据，也做两个简单的分类，一个是结构化数据库和非结构化数据的分类，当然，还有再加一种半结构化数据的。所谓结构化，就是非常规整地有属性的一种情况。像一个人，他有身高、体重、年龄，这个描写叙述是结构化的，你给照一张照片，录一段声音，拍一段摄像，虽然这也是数据，可是不是结构化的。对于不同的这两类数据，存储方式也不同样，比方结构化数据是典型的二维表的结构。而非结构化数据就是仅仅以原始数据的形式存储。

上面的场景，大多是结构化数据的处理场景，像文本数据库、MySQL数据库。而在fastdfs上，Hadoop上，就有大量的非结构化数据的存储。 

C、依据数据量本身的大小，我们也能够做一个分类。或者特定的技术应用场景。

比方小数据量数据，我们可能为了方便，就以文本的方式来保存。而对于一个正规的提供服务的站点，像用户数据，比方优才网的用户数据，就会用MySQL数据库来保存，为了訪问速度，也会用到memcached这种缓存软件。也会用fastdfs来保存小文件。而当有大量的日志等数据量产生，须要进行数据分析的时候，比方每天的数据量以几百G，T来计的时候，就会用Hadoop 这种软件。

所以，不同的数据量也使用不同的保存方式。小型数据、大中型数据、海量数据或者大数据。

D、第四个角度就是从上面能够看出，数据的存储方式，有非常多类别，不同类别适用于不同的场景。数据库是非常强大的，可是不是全部的场景都合适使用数据库。比方上面讲的全文检索的场景，一般须要用特定的存储，特定的索引方式。假设详细地讲，全文检索中，使用的一种索引，叫倒排索引。

二、数据库有哪些概念

好的，聊完了数据以及相关软件的一些使用场景，对于不同场景下使用不同软件有了概念。以下我们来介绍一下，在数据库的领域经常使用的一些术语，这些术语，在我们的整个数据库学习中都要用到。

因为公开课的时间问题，我们主要交流一下基本概念，对于高级的概念，后面的公开课会持续地讲到。

2.1 数据库的基本概念

介绍我们以下数据库的这些概念时，我们以一个公司做为对照。

2.1.1、库

库，就相对于一个公司，以下差点儿全部的概念都装在这个公司里的。

在使用数据库之前，我们得在数据库软件上创建数据库。

在 MySQL 里，同一个连接，仅仅能附着在同一个库上，当然，仅仅要权限同意，也能够实现跨库查询。

创建数据库的语法是

 createdatabase xxx;

仅仅有root 用户能创建库。

2.1.2、表

表就相对于，公司的一个部门，这个部门管用户，那个部门管订单。就是一个又一个的表。

表由记录和字段组成。

字段表成的是表定义。

记录组成的是表数据。

CREATE TABLE `hstesttbl` (
  `k` int(11)NOT NULL AUTO_INCREMENT,
  `v`char(255) NOT NULL DEFAULT '',
  PRIMARY KEY(`k`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8

字段定义则有字段名，字段类型，是否为空，是否自增长，缺省值等。

记录则是实际的数据值，同一个表的记录的定义都是一样的。也就是说有同样的特征。

2.1.3、视图

视图类就相当于虚拟的项目小组，能够是同一个部门出来的，也能够是跨部门的。

视图之所以说是虚拟，由于没有实际存在的数据。不管是定义，还是数据，都是从别的表里组合起来的。

create view hsview as select * from hstesttbl;
 
mysql> show tables;
+--------------------+
| Tables_in_hstestdb |
+--------------------+
| hstesttbl         |
| hsview            |
+--------------------+
2 rows in set (0.02 sec)
 
mysql> show create table hsview\G;
*************************** 1. row***************************
               View: hsview
        Create View: CREATE ALGORITHM=UNDEFINED DEFINER=`root`@`localhost` SQLSECURITY DEFINER VIEW `hsview` AS select `hstesttbl`.`k` AS `k`,`hstesttbl`.`v`AS `v` from `hstesttbl`

从上面的命令能够看出，视图跟表的操作有非常多相似。而且从表到视图还能改动字段名。

2.1.4、索引

索引就是相当于部门每一个员工的一些用于高速找到员工的属性。比方职位，比方爱好，比方毕业学校。通过这些，就能将部门的人分类，每一次查询都能缩小结果集。

对表创建索引是，比方还是上面这个表, alter table hstesttbl add index(xxx);

2.1.5、键

键就相当于部门每一个人的一些最快捷且唯一的联络方式，比方电话、邮箱，微信号，QQ号都是。

加入键跟加入索引，类似，删除键这里介绍一下，

比方：

alter table hstesttbl drop primary key;

2.1.6、权限

是指公司内部限制的一些纪律，比方公司外部人，是不能知道公司内部的一些事情的。

我们能够通过

grantALL PRIVILEGES on dbname.* to ‘user‘@‘127.0.0.1‘ identified by ‘password‘ withgrant option;

这种语句给某用户授权，全权訪问某个库。这个这个用户仅仅能訪问这个库，在没有获得很多其它授权的情况下。

上面说仅仅有root用户能创建数据库，而对于上面的其它操作，比方创建表，加入视图，新建、删除索引和键，仅仅要经过了上面的授权，就能够做了。

2.1.7、SQL

SQL就相当于公司的一些规定，指令。比方我们在公司里交流说，能够公布到生产环境了。听起来一句简单的话，包括着可能进行了产品确认，各种測试，能够由运维上线了。

SQL是我们同数据库打交道的指令。上面事实上在讲各个概念时，已经都讲过了一些SQL命令，我想这里提几个点。

手写命令，很重要，优才网要求自己的学员都要有手写命令的能力，不能离开phpmyadmin就没有办法干活。

SQL上面虽然介绍了这么多，我们对它进行一个分类，事实上这个分类早有人做了。主要是为DDL、DML、DCL（当然另一个TCL，我们今天不讲）。

（1）数据定义。（SQL DDL）用于定义SQL模式、基本表、视图和索引的创建和撤消操作。上面的，大多是DDL。

（2）数据操纵。（SQL DML）数据操纵分成数据查询和数据更新两类。数据更新又分成插入、删除、和改动三种操作。这就是我们寻常所熟知的增删改查操作。

（3）数据控制（DCL）。包含对基本表和视图的授权，完整性规则的描写叙述，事务控制等内容。这个就是我们上面也有涉及，权限处理。

2.2 学术性的概念

?1、范式与冗余

–第一范式，列不能够切割，比方兴趣字段，它里面，可能写了篮球、电影等多项。原则上来讲，这个表是不满足第一范式的。应该专门建立一个用户兴趣表，有uid和兴趣。然后一个人有多条记录。所以在数据库字段定义时，须要显式地指明数据类型，除了文本类型之外，你非常难往一个字段里附加多个信息。

–第二范式，主键决定了其它所有属性，比方一个班级学生表，一个学号，决定了学生其它的信息，比方有一个表，里面有学号、学院编号、学生姓名、年龄、学院、院长。学号和学院编号是主键，看起来没有错，学生在这个学院编号里，决定了哪个学院，院长是谁谁谁。只是这是不满足第二范式的，由于学院和院长不是由学号这个主键来决定的，而是由学院编号来决定的。所以要分拆。

–和三范式，其它属性全由主键决定， 比方还是上面这个表，里面有学号、学院编号、学生姓名、年龄、学院、院长。学号是主键，看起来没有错，学生在这个学院里，院长是谁谁谁。只是这是不满足第二范式的，由于院长不是由学号这个主键来决定的，而是由学院来决定的。所以要分拆。

?2、ACID：

–原子性  (Atomicity) ， 不可中间失败。比方说，我们买东西，一边是买家付款，从买家账户扣除，还有一边是存钱入卖家账户，这分了两步，这不是原子的。由于可能中间失败。比方扣钱成功，存钱未成功。

–一致性（Consistency），还是上面这个样例，交易完毕后，数据一致，收支相抵。不能一边多，一边少。

–隔离性（Isolation），避免并发混乱，非常多数据，一个客户訪问时没有问题，多个用户在高并发时訪问，也要满足数据不会错乱。

–持久性（Durability），永久保存，就是不要丢失。不能一关机没有了，即使丢一条也不成。

2.3 很多其它高级术语

1、存储引擎 、事务、复合索引、连接池、备份、恢复

2、主从复制、行锁定、表锁定、慢查询、二进制日志、暂时表、内容分发、同步、数据库分区、分库、分表、水平拆分、垂直拆分

这很多其它的高级术语，我们在后面再交流，或者在全栈project师课程中再交流。