首页 > 代码库 > （一）概率论与随机过程
（一）概率论与随机过程
在一般大学数学系，重视分析与代数，轻视几何与概率等应用学科。这种现象在很多学校都存在，吾以为这不是个很好的现象。今天开始重新学习下概率论与随机过程。主要参看的教材是陈希孺《概率论与数理统计》、Sheldom M.Ross《应用随机过程导论》，因为是重新开始学习做一定量的习题是有必要的，由于不是专业人士，难免有所错误，希望大家多多批评指正。
大学的概率论与随机过程主要学习了哪些内容了呢？
在引入概率定义前，首先给出了样本空间和事件的定义。为什么要先给出样本空间和事件的定义呢？因为概率是事件的概率。
样本空间$\Omega$:实验所有可能的结果组成的集合。
基本事件$\omega$：试验一次出现的结果。
事件$A$:若干基本事件的集合。
概率是什么？
概率论的历史可以追溯到17世纪，由帕斯卡和费马开创，概率论源于当时的赌博游戏。概率是指事件发生可能性大小的一个指标（这仅仅是定性描述远远不够）其值介于$[0,1]$之间。由此可以定义
其中$\mu (A)$表示$A$的一种度量，若取这种度量为包含基本事件的个数且基本事件是等可能性的，那么上述定义是古典概率的定义。当$\mu (\Omega)=+\infty$时，这类情况古典概率是无法描述的，对不是等可能的事件更无法解决。主观概率也不包括在内。
抛硬币实验：
问抛一枚硬币，正面朝上的概率是多少？考虑等可能性，正面朝上(a)和反面朝上(b)的概率是相同的。$\Omega=\{a b\}, A=\{a\}$,$P(A)=\frac{1}{2}$. 现实世界不是等可能性可能很难满足例如硬币材质对等可能性可能造成影响，这样就不能再根据上面的定义计算概率了，历史上出现的“频率”学派主张用频率来近似概率，从统计学上看，这样的做法具有很强的实际操作性，但是用这样的方法永远也无法知道真正的概率值是多少？这涉及到假设检验的问题。假设检验的方法引起了很多争议。
概率的公理化定义：
概率的公理化定义是由伟大的苏联数学家柯尔莫哥洛夫完成的。公理化是一个很好的方法，将纷纷扰扰的宏伟大厦建立在几条简单基础上，不是伟大的人物谁又能做到如此呢？柯尔莫哥洛夫将概率看做事件上的一个映射，用这个映射的性质来定义概率，有三条
(i) $0\leq P(A) \leq 1$
(ii) $P(\Omega)=1$
(iii) 可列可加性，若任意不相容事件$A_{i}A_{j}=\emptyset,i \neq j$,$P(\bigcup A_{i})=\sum P(A_{i})$
这样我们称$P(A)$为事件$A$的概率，这个定义的局限性在于我们无法跟具体计算具体概率除非给出满足这样条件的映射$P$.
关于事件：
(1) 事件之间可以相互运算（实际上就是集合论里的那些东西），例如$A\cup B,A-B,AB,A^{c}$等不妨称其为复合事件，这些事件之间的概率有一定的关系。例如
如果根据文氏图，把概率理解为面积度量结果是显然的。现在用柯尔莫哥洛夫三条公理来证明。
Proof:
On the one hand
On the other hand
so
(2) 事件$A$对事件$B$的影响？也就是说未知事件$A$发生与否，此时事件$B$的概率为$P(B)$,若已知事件$A$发生，那么事件$B$在此条件下发生的概率$P(B|A)$是多少呢？
有条件概率公式
也就是
若事件$A,B$概率满足
则称事件$A,B$是相互独立的。一个事件的发生与否对另一个事件完全没影响。
有一种观点认为：
$AB$事件发生，我们可以分两步完成，第一步$A$发生，第二步$B$发生。同理我们也可以先使事件$B$发生在$B$发生的情况下$A$发生，依据加法原理和乘法原理
这种观点的错误在于没认识到$AB$是同时发生事件，不能分成两步。
全概率公式和贝叶斯公式：
数学里有选基底和划分的思想，对于样本空间$\Omega$划分
称$\{B_{i}\}_{i \in \Gamma}$为完全事件群.
我们可以推导
上面的公式再利用条件概率公式便可得到全概率公式
这个公式可能会给我们计算上带来便宜之处，已知认为划定的$\{B_{i}\}$只需要知道$P(A|B_{i})$即可。
下面我们来推导鼎鼎大名贝叶斯（贝爷）的公式，这个问题是这样的，已知事件$A$发生的概率那么事件$B_{i}$发生的概率是多少？
贝爷的公式神奇在可以定量刻画 $P(B_{i})$到$P(B_{i}|A)$的转变。以这个公式为基础产生了一个学派贝叶斯学派。
over.