首页 > 代码库 > 线性代数01 线性的大脑
线性代数01 线性的大脑
作者:Vamei 出处:http://www.cnblogs.com/vamei 欢迎转载,也请保留这段声明。谢谢!
线性代数是一门大学课程,但也是相当“惨烈”的一门课程。在大学期间,我对这门学科就没怎么学懂。先是挣扎于各种行列式、解方程,然后又看到奇怪的正交矩阵、酉矩阵。还没来得及消化,期末考试轰然到来,成绩自然凄凄惨惨。
后来读了更多的线性代数的内容,才发现,线性代数远不是一套奇奇怪怪的规定。它的内在逻辑很明确。只可惜大学时的教材,把最重要的一些核心概念,比如线性系统,放在了最后。总结这些惨痛的经历,再加上最近的心得,我准备写一些线性代数的相关文章。
这一系列线性代数文章有三个目的:
- 概念直观化
- 为“数据科学”系列文章做准备,没有线性代数基础,没法深入统计和机器学习。
- 线性代数运算的代码实现。这是经典的程序员挑战。参看一天能学会的计算机技术
线性代数是现代数学、自然科学的基础工具。在计算机领域,数据挖掘、机器学习、图形处理,数值运算这几块儿都与线性代数紧密相关。如果你对这些技术感兴趣,这些线性代数的文章可以作为你的参考读物。
这一篇,我将引入线型代数的核心:线性系统。让人惊奇的是,这一核心概念,早就根植在我们的思维中。
生活中的线性:超市结算
我们想象一个只卖两个商品的超市,销售青菜、黄豆。青菜价格是每捆5元,黄豆价格是每盒3元。此外,这个超市还有个积分系统,每捆青菜积分2分,每包黄豆积4分。写一个函数,作为结算系统,为客户计算总价和积分。
超市结算
这对程序员来说不算挑战。每个语言都可以轻松的实现,比如用Python:
1 | # By Vamei |
2 |
3 | def bill(x1, x2): |
4 | y1 = 5*x1 + 3*x2 |
5 | y2 = 2*x1 + 4*x2 |
6 | return y1, y2 |
x1,x2分别为青菜和黄豆的数目。y1,y2为总价和积分。通过输入不同品种的购买数目,我们得到输出。这里的输出有两个元素:总价和积分。
上面的计算,还可以写成一组简单的数学方程:
我们试想这样一种情况:一对夫妻去超市买菜。丈夫买了1捆青菜,2盒黄豆,结账的时候,为11元和10个积分。妻子买了2捆绑青菜,3盒黄豆,结账的时候,为19元和16积分。
但如果妻子结账前碰到丈夫了,俩人把东西放在一起,总共3捆青菜,5盒黄豆。按照我们的结算系统,总价为5×3+3×5=30元,总积分为2×3+4×5=26积分。
你可能会反驳我,为什么要那么麻烦呢?把刚才的两个单子加在一起不就可以了。11+19=30元,10+16=26积分。这通过结算系统的计算结果完全相同。
这想法没错。你已经在运用线性系统(Linear System)的思维了:
几个购物车里的东西,分开结账的几张小票的总和,和一次结账的总结果相同。
线性系统还有更复杂的情况。把两个购物车给销售员,让销售员按相同的配比,丈夫的来3车,妻子的来2车。那么,新的总价,应该是丈夫的小票乘3,加上妻子的小票乘2。
这种线性的思维方式是如此的普遍,以致于我们要多想一下,才能想出非线性的例子。超市更改积分系统:积分超过20的话,将获得双倍积分。这个时候,如果分开结账,丈夫和妻子的积分都不到20,那么积分分别为10和16,总和为26。而合在一起结账,由于积分超过了20,积分将是52。有生活经验的夫妻们,一定是合在一起结账,而不是分开结账了。
我们创造了一个非线性的系统。把这个新的结算系统编成函数,依然用Python:
1 | # By Vamei |
2 |
3 | def non_linear_bill(x1, x2): |
4 | y1 = 5*x1 + 3*x2 |
5 | y2 = 2*x1 + 4*x2 |
6 | if y2 > 20: |
7 | y2 = y2 * 2 |
8 | return y1, y2 |
非线性并不是人们的惯常思维方式。超市和商场常有复杂的打折、赠券、积分系统, 这些系统很多时候是非线性的。大脑需要耗费很大能量,才能处理得过来。于是,作为超级线性的男生,我通常的想法都是:去它妈的,老子不要那么麻烦的合单或拆单了。
(奇怪的是,妹纸可以超级熟练的处理各种非线性的购物系统,甚至并行处理多个。上帝拿走的那根肋骨,一定是非线型的……)
“一个”
我们即将要改变我们对一个单位的数据的理解。举出一个数据
做为程序员,最直接会列举出一个数据,比如一个整数,一个浮点数。
那一个结构体呢?C语言中的结构体可以包含有多个元素。我们知道,每个元素分开写出来,并不是结构体的完整数据。比如:
1 | typedef struct { |
2 | int veg; |
3 | int bean; |
4 | } Cart; |
再继续,一个对象的数据呢?一个对象可以有多个属性。当我们说一个对象的数据时,我们指的是这个对象的多个属性。比如:
1 | public class Cart{ |
2 | int veg; |
3 | int bean; |
4 | } |
再比如,我们在说一个人的数据时,包括姓名,身高、体重、IQ多个值。这多个值可以构成这个人的“一个”数据。我们可以在SQL数据库中建立这样一个Person(name, height, weight, IQ)的表。每一行,也就是一个记录(record),算是一个数据单位。
即使是列表这样的数据容器,如果固定每个位置数据的意义,那么一个列表也可以算是“一个”数据。比如丈夫购物车为[1,2],妻子的购物车为[2,3]。
这种包含了多个元素的数据,称为向量(vector)。与之对应,一个单一的数值,称为标量(scalar)。
一个向量
我们用带小箭头字母表示,来表示一个向量。比如丈夫的购物车:
向量可以相加减,这时只需要对应行的元素相加就可以,相当于合并或分开购物车。比如丈夫和妻子的购物车合并:
向量也可以与一个标量相乘。比如x? ×5表示5个购物车的量。这时只需将标量与向量的各行元素相乘。
伴随着向量,有一个简单的概念,即维度(dimension)。上面的购物车向量,包含了两个数值,即青菜的数目和黄豆的数目。我们因此说该向量是二维的。而结构体中元素的个数、对象的属性个数,都是维度。我会在以后的文章中深入维度这一概念。
有了对数据的深入理解,那么线性系统的特点可以总结如下:
D1→和D2→是向量,分别是丈夫和妻子的购物车。而a, b为两个标量,比如a为2,b为3,表示丈夫那样的购物车乘2,妻子的购物车乘3。L为结算系统。方程右边表示,合在一起结账。方程右边表示,丈夫和妻子分开小票,相乘再相加。方程的两边相等。
矩阵革命
在数学上,我们已经有一组方程表示出了一个线性系统。上面的方程组有些不方便的地方:
- 输入的元素(黄豆数目)和系统参数(单价)混合在一起
- 有很多字母
数学家是偷懒的动物,这点和程序员很像。他们最后找到了一种省事的记述方式。利用刚才的向量。分离的表示输入、线性系统和输出的关系:
方程最左是个向量,最右是个向量。奇怪的是中间用括号括住的一堆数字。这被称为一个矩阵(Matrix)。可以看到,这个矩阵中有四个元素,包含了各个物品的单价和各个物品可获得的积分。这通常是结算系统所包含的数据。我们可以猜测到,这个矩阵相当于一个结算系统。左边的向量是输出,右边的向量是输入。
结算系统
这个结算系统运作时,把输入向量放横,再和结算系统的每一行元素分别相乘,即获得对应的输出元素。比如输出的第一个元素:
根据这一运算规则,一个线性系统就完全用一个矩阵表示出来了。
可以把矩阵表示成字母A,那么用代数的形式,写出输出和矩阵、输入的关系:
这个代数形式,在线性代数中,有基础性的地位。方程的右边,我们说矩阵和向量进行了“乘法”运算。这一运算的规则,是按照我们上面所描述的那样运行的。这简直是对乘法符号的一次“运算符重载”(operator overload)。
我们可以用程序来实现上面的计算过程。编写类似的C程序并不复杂。更方便的是调用现有的库函数,比如Python中的numpy:
01 | # By Vamei |
02 |
03 | import numpy as np |
04 |
05 | # matrix |
06 | a = np.matrix([[5, 3],[2, 4]]) |
07 |
08 | # input Vector |
09 | x = np.array([[1], [2]]) |
10 |
11 | # multiplication |
12 | y = np.dot(a, x) |
13 |
14 | print(y) |
矩阵这个东西把结算系统的表示方式大大缩减。更重要在于,线性系统和矩阵是互通的。矩阵表示的是一个线性系统。一个线性系统也总可以表示一个矩阵(证明从略)。
绕了半天,矩阵 = 线性系统。
总结
线性代数的核心是线性系统的概念。线性系统与矩阵的等同性,让线性代数后面的内容,转入到对矩阵的研究中。但核心要牢记。
线性系统的概念在生活中非常常见。人的思维很多时候也是线性的。思考生活中线性和非线性的例子。
广义的数据可以表示成多维的向量。
线性代数01 线性的大脑