样本空间

对于随机试验，尽管在每次试验之前不能预知试验的结果，但是试验的所有可能结果集合是已知的，我们将随机试验E的所有可能的结果组成的集合称为E的样本空间，记为S。样本空间的的元素，即E的每个可能结果，称为样本点。比如事件E：抛一枚硬币，观察正面H，反面T出现的情况，S={H，T}。

频率 概率

频率描述了事件发生的频繁程度，一般采用多次试验的结果得到。

概率描述的是一次试验中，事件发生的可能性大小。

如果试验的次数足够多，频率将在一定意义下接近于概率。

条件概率

设A，B是两个事件，且P(A)>0，称：

 $\large P(B|A) = \frac {P(AB)}{P(A)}$

为事件A发生的条件下事件B发生的概率。

乘法定理

设P(A)>0，则：

$\large P(AB)=P(B|A)P(A)$

$\large P(ABC)=P(C|AB)P(B|A)P(A)$

这个定理也很容易推广到多个事件的情况

加法定理

设试验E的样本空间为S，A为E的事件，$B_1$，$B_2$，$\ldots$，$B_n$为S的一个划分，且 $P(B_i)>0$，则：

$\large P(A) = P(A|B_1)P(B_1) + P(A|B_2)P(B_2) + \ldots + P(A|B_n)P(B_n) $

贝叶斯公式

$\large P(B_i|A) = \frac {P(A|B_i)P(B_i)}{\sum_{j=1}^{n}P(A|B_i)P(B_i)}$

先验概率 后验概率

例子：某种设备，调整良好时，产品合格率为90%，发生故障时，合格率为30%，每天早上开工时，设备调整良好的概率为75%，已知早上第一件产品是合格品，问设备调整良好的概率是多少？如果定义事件A为产品合格，事件B为设备调整良好，显然有P(A|B)=0.9，P(A|B‘)=0.3，P(B)=0.75，P(B‘)=0.25，要求的是P(B|A)。P(B)称为先验概率，是根据以往的经验数据得到的，P(B|A)是得到了第一件产品为合格品之后对P(B)做的修正，称为后验概率，后验概率让我们对设备的情况有了更进一步的了解。

独立事件

如果A，B两个事件满足

$\large P(AB)=P(A)P(B)$

称A，B为互相独立的事件。这个式子也很容易推广到多个事件的情况。

随机变量

如果将随机试验的结果数量化，比如抛硬币，用 1 代表正面，用 0 代表反面。如果将这个数量化的结果用一个变量X表示，X就是随机变量，根据实验结果的不同而不同。正规的定义是：设E是随机试验，样本空间是S={e}，如果对于每一个e属于S，都有一个实数X(e)与之对应，这样就得到一个定义在S上的单值函数X=X(e)，称为随机变量。如果X能取到的值是有限个或者可列无限个，则X称为离散性随机变量。

概率分布

如果离散性随机变量X的所有取值为 $x_k(k=1,2,...)$，X取各个值得概率为：

$\large P\{ X=x_k \}=p_k$

称为离散性随机变量X的概率分布或者分布律。

分布函数

对于非离散性随机变量X，其可能的取值不能一一列举出来，所以不能用像离散性随机变量那样用分布律来吗描述，为此引入随机变量分布函数的概率。

设X是一随机变量，x是任意实数，函数：

$\large F(x) = P \{ X \leq x \}$

称为X的分布函数。虽然对离散性随机变量，可以完全用分布律来描述，但为了数学上的统一，定义了对离散性随机变量和非离散性随机变量都适用的分布函数。

连续性随机变量 概率密度

如果随机变量X的分布函数是F(x)，存在非负函数f(x)，使得对于任意实数x有：

$\large F(x) = \int_{-\infty}^{x}f(t)dt $

则称X为连续性随机变量，f(x)称为X的概率密度函数，简称概率密度。

概率密度具有以下性质：

（1）$\large f(x) \geq 0 $

（2）$\large \int_{-\infty}^{\infty}f(x)dx = 1$

（3）$\large P \{ x_1 < X \leq x_2 \} = F(x_2) - F(x_1) = \int_{x_1}^{x_2}f(x)dx $

期望

 设离散性随机变量X的分布律为：

$\large P\{ X=x_k \}=p_k$

如果级数

$\sum_{k=1}^{\infty}x_k p_k $

绝对收敛，则称为随机变量X的期望。记作E(X)。

对于连续性随机变量X的概率密度为f(x), 期望为：

$\large \int_{-\infty}^{\infty}xf(x)dx$

如果有函数Y=g(x)，则Y的期望为：

$\large \int_{-\infty}^{\infty}g(x)f(x)dx$

期望又称均值。

方差

设X是一个随机变量，如果$E\{[X-E(X)]^2\}$存在，则称为X的方差，记为D(X)或者Var(X)。

方差可以按照公式 $D(X) = E(X^2) - [E(X)]^2 $计算。

方差开方$\sqrt {D(x)}$记为 $\sigma(X)$，称为标准差或者均方差。

矩

设X是随机变量

X的k阶原点矩：$E(X^k)$

X的k阶中心矩：$E\{ [X-E(X)]^k\}$

显然X的期望是X的一阶原点矩，方差是X的二阶中心矩

常见概率分布

0-1分布 伯努利分布

离散性随机变量的概率分布，随机变量X只能取0和1两个值，它的分布律是

$\large P\{ X=k \} = p^k(1-p)^{1-k}, k=0,1$

二项分布

随机变量X表示n重伯努利试验中事件A发生的次数，例如重复抛n次硬币，出现正面的次数。X的分布律是：

$\large P\{ X=k \} = {n \choose k}p^k(1-p)^{n-k}, k=0,1,2,...,n$

数学基础之概率