随机试验与概率空间

扔硬币的试验与问题

下面有一枚可以调节正面出现概率 $p$ 的“硬币”。我们来用它做一些投掷硬币的试验。

在这个小游戏中，我们能做不少事情，也可以观察到不少有意思的现象，我这里列举几个：

• 多扔一些。 绿色曲线是不是逐渐靠近了表示 $p$ 的虚线？它会从某一次开始就一直留在虚线的一小段范围里吗？
• 重新来一组。 用同样的 $p$，再扔一遍。旧曲线会变成灰色。条件明明一样，曲线却不一样，随着投掷次数增多，两个曲线会有什么关系吗？
• 换一种视角。 切到“与 $np$ 的偏差”。正面比例看起来越来越稳时，正面个数与 $np$ 的差也会越来越小吗？再试试把偏差除以 $\sqrt n$ 看看呢？
• 换一枚硬币。 把 $p$ 改成 $0.7$，重新试一遍。

规律与问题

虽然每一次硬币投掷的结果是随机的，但是，当投掷的数量变得很多的时候，我们可以发现一些规律。这些规律也能自然的产生一些问题。

第一，正面比例到底会不会稳定？ 应该可以观察到，随着投掷次数的增多，正面比例会越来越接近 $p$。但是，正面比例会一直稳定在 $p$ 附近吗？

第二，稳定以后，还剩下多大的波动？ 如果正面的比例越来越接近 $p$，那么它的波动会越来越小吗？

第三，我们怎样根据结果判断硬币？ 我们能否根据投掷的结果来判断硬币的正面概率 $p$？如果我们只扔了十次，正面比例是 0.7，那么我们能否说硬币的正面概率就是 0.7 呢？如果我们扔了一百次，正面比例是 0.7，那么我们能否说硬币的正面概率就是 0.7 呢？扔了多少次之后，我们就可以“自信”的说硬币的正面概率就是 0.7 呢？

第四，连续正面的次数会不会越来越长？ 如果我们一直扔下去，连续正面的次数会不会越来越长？如果是的话，它会有什么规律呢？

为了回答这些问题，我们需要给扔硬币的试验建立一个数学模型。我们希望这个模型既能把我们眼前看到的现象描述清楚，又能让我们用数学的方法来分析它。

1.1 两个骰子的试验

我们来讨论一个更加简单并且具体的例子：扔两枚六面骰子，一枚红色，一枚蓝色。我们约定先记红骰子的点数，再记蓝骰子的点数。比如 $(2,5)$ 就是红骰子为2、蓝骰子为5。所有可能的结果放在一起，就是

$$\Omega=\{1,2,\ldots,6\}^2.$$

我们把这个集合叫作样本空间（sample space），其中的一个元素 $\omega$ 叫作样本点（outcome）。名字听起来有点正式，其实在这个例子里，一个样本点就是我们扔完骰子后记下来的一对数，也就是一次投骰子试验的结果。注意，因为我们的骰子有颜色之分，所以 $(2,5)$ 和 $(5,2)$ 是两个不同的结果。

接下来给这些结果分配概率。我们假设两枚骰子都公平，而且两枚骰子之间的结果不会相互影响。换句话说，36个有序对，每一个出现的概率都是 $1/36$。做了一次试验之后，我们会关心一些事情，比如“两个点数的和是4” 这件事情有没有发生。它表达的意思是，投出来的结果是不是 $(1,3)$、$(2,2)$、$(3,1)$ 这三个结果中的一个。因此，我们可以用下面这个子集来表示它：

$$A=\{(1,3),(2,2),(3,1)\}.$$

我们把这样的子集叫作事件（event）。说“事件 $A$ 发生”，就是实际扔出的那个样本点落在 $A$ 里面。在这个例子里，$A$ 有3个点，每个点的概率都是 $1/36$，所以，我们说 $A$ 发生的概率，也就是投两个骰子，它们点数之和等于4的概率是 $3/36=1/12$。

1.2 概率空间与概率公理

概率公理都来自于对现实生活中随机试验的抽象。我们先把注意力集中在所谓的“离散概率空间”，即随机试验的结果是有限个或者至多可数无限个的情况。我们这样做的原因在于，需要先在离散的场合建立关于概率的正确直观，而不必过早地把精力花在不可数的概率空间引起的一些系统性问题上。当然，在这门课里，我们的目标是建立一个一般性的理论。我们将在对离散的世界理解得足够好之后，再讨论一般的概率空间，并看看哪些直观能够直接类比过去，哪些不能。

因此，在介绍抽象的概率公理时，我们脑海中最好能有一个例子，从而明白每一条公理出现的理由。在这儿，我们就继续想着上一节扔两个骰子的试验。

一个概率空间是一个三元组 $(\Omega,\mathcal F,\mathbb P)$。我们分别来解释它们的含义。

其中 $\Omega$ 是样本空间，即随机试验所有可能结果的集合。在两个骰子的例子里，我们已经把它写成了 $\{1,2,\ldots,6\}^2$。

三元组中的第二项 $\mathcal F\subseteq2^\Omega$ 是“事件族”，用来表示这个随机试验中所有可以讨论的事件。我们在上一节已经看到，一个事件可以用 $\Omega$ 的一个子集表示，而 $\mathcal F$ 就是这些事件组成的集合。注意，$\Omega$ 中的元素是样本点，$\mathcal F$ 中的元素则是事件，也就是样本点的集合。

一个很自然的问题是，我们为什么不把 $\mathcal F$ 直接取成 $2^\Omega$，而只要求它是 $2^\Omega$ 的一个子集呢？这里我认为有好几个原因。首先一个比较重要的原因是，在我们以后要研究的连续模型中，把 $\mathcal F$ 取成 $2^\Omega$ 可能会“太大了”，以至于没有办法在上面定义我们所希望的概率。具体的原因，我们在 §1.4 给出一个证明。另外，允许 $\mathcal F$ 是 $2^\Omega$ 的子集也给我们提供了一些便利；以后学习条件期望、随机过程时，我们会更多地把它解释成某种意义上的“信息”。

如果你同意 $\mathcal F$ 不一定要取成 $2^\Omega$，那么我们就要给它加一些限制，因为并不是 $2^\Omega$ 的每一个子集都合适当成事件族。在这儿，我们要求 $\mathcal F$ 构成一个 σ-代数（σ-algebra），又称 σ-域。

这三条要求与我们对随机试验的直观理解是很对应的。第一条告诉我们，需要有“不可能事件”和“必然事件”。第二条告诉我们，如果 $A$ 是一个合理的事件，那么“$A$ 不发生”也应该是一个合理的事件。第三条是说，如果 $A_1,A_2,\ldots$ 都是合理的事件，那么“它们之中至少有一个发生”也应该是一个合理的事件。有限个事件的并自然也包括在内，只要在后面补上一串空集即可。

定义里没有另外要求对交集封闭，因为这已经可以从补集和并集的要求推出来。用 De Morgan 法则，我们有

$$\bigcap_{n\ge1}A_n =\left(\bigcup_{n\ge1}A_n^c\right)^c\in\mathcal F.$$

同样，$A\setminus B=A\cap B^c$ 也在 $\mathcal F$ 里。所以，接下来我们对事件取交、取差时，得到的仍然是可以讨论的事件。

三元组中的第三项 $\mathbb P:\mathcal F\to[0,1]$ 给每一个事件赋予一个 $[0,1]$ 之间的数，表示这个事件发生的概率，被称为概率测度。与事件族的要求相对应，我们对 $\mathbb P$ 也有要求：

1. $\mathbb P(\varnothing)=0$，$\mathbb P(\Omega)=1$；
2. 对任意事件 $A\in\mathcal F$，$\mathbb P(A^c)=1-\mathbb P(A)$；
3. 对任意两两不相交的事件 $A_1,A_2,\ldots\in\mathcal F$，有

$$\mathbb P\left(\bigcup_{n\ge1}A_n\right) =\sum_{n\ge1}\mathbb P(A_n).$$

最后一条叫作可数可加性。右边的无穷和，指的是有限部分和的极限。我们已经要求空集的概率为零，因此有限个不相交事件的可加性也包括在这条要求里。

这里的要求有一些冗余，比如第二条可以由第一条和第三条推出：把 $\Omega$ 写成 $A$ 与 $A^c$ 的不交并就行了。我把它们都列出来，是为了让这些公理和我们对事件的直观理解对应起来。对 σ-代数的要求也是类似的：补集封闭且包含 $\Omega$，就已经保证它包含空集。

有了这三样东西，我们就把一个随机试验写成了概率空间 $(\Omega,\mathcal F,\mathbb P)$。

也许有人会问，为什么 $\mathbb P$ 要定义成事件族 $\mathcal F$ 上的函数，而不是样本空间 $\Omega$ 上的函数呢？事实上，当 $\Omega$ 是离散的，并且取 $\mathcal F=2^\Omega$ 时，这两种做法并没有多大区别。对每一个样本点 $\omega$，我们记

$$p_\omega=\mathbb P(\{\omega\}).$$

那么根据可数可加性，每个事件的概率都可以写成

$$\mathbb P(A)=\sum_{\omega\in A}p_\omega.$$

也就是说，$\mathbb P$ 在单点集上的取值决定了它在所有事件上的取值。但值得注意的是，在 $\Omega$ 不可数时，这种做法未必行得通，我们需要按照公理的形式把 $\mathbb P$ 定义成事件上的函数。

比较 例 1.1 和 例 1.2：同样的36个样本点，同样的事件 $A$，换了一套概率分配，答案就从 $1/12$ 变成了 $1/20$。我们定义概率空间时，并没有要求每个样本点的概率相同。只有在等可能的特殊情形下，才能用“事件里的点数除以总点数”来计算；一般情况下，要加的是各个点的概率。

1.3 集合运算与事件的基本性质

从上面关于概率公理的讨论可以看到，我们现在可以用集合的语言来讨论概率。特别是在有限、等可能的模型中，计算概率就是组合计数；如果样本点并不等可能，则要把相应的概率加起来。但在很多时候，我们希望把这些对于概率空间的操作和背后的随机试验结合起来，这样能够给出我们一些重要的直观。这些直观能够帮助我们从“概率”的视角去看待问题。在未来，你一定会发现，有很多在概率视角看起来显然正确、无比简单的事情，如果机械地把它翻译成对集合或者元素的操作，就会变得笨拙而繁琐。

我们首先来看一些简单的集合运算和随机试验之间的对应。一次试验得到结果 $\omega$，事件 $A$ 发生，就是说 $\omega\in A$。沿着这个解释，下面两列说的其实是同一件事情。

比如，投掷两个骰子时，“两个点数都是偶数”蕴含“两个点数的和是偶数”。用集合的语言说，前一个事件是后一个事件的子集。所以后一个事件的概率不应该比前一个小。这样的解释很直观，不过我们还要看看，怎样从刚才的公理把它证明出来。

上面的表格其实已经用到了一些 $\sigma$-代数的性质：如果 $A,B\in\mathcal F$，那么 $A\cap B$ 以及 $A\setminus B$ 也应该在 $\mathcal F$ 中。我们先把这些基本性质验证一下。以下均在同一个概率空间 $(\Omega,\mathcal F,\mathbb P)$ 中讨论，$A,B,A_1,A_2,\ldots$ 都是事件。

这里 $\bigcap_{n\ge1}A_n$ 是所有同时属于每个 $A_n$ 的样本点组成的集合。从随机试验的角度说，就是这些事件全部发生。

这个公式从随机试验的视角也很好理解：我们把 $A$ 和 $B$ 发生的概率相加，同时发生的部分就算了两遍，所以需要减掉一份。

Union bound：先求一个上界

有时候，交集很难算，但我们只想知道“至少有一件事情发生”的概率有多大。那就干脆不减这一份：多算了不要紧，反正我们要的是一个上界。这个简单的观察给出一个非常好用的工具。

这个不等式也叫 Boole 不等式。它在概率分析中有很广泛的应用：不管事件之间有什么关系，只要能算出每个事件的概率，就有了它们至少发生一个的概率上界。

概率与单调极限

接着我们来讨论集合序列的极限。这里先只考虑单调的集合序列；更一般的上极限和下极限，我们以后再定义。

对于非降的序列 $A_1\subseteq A_2\subseteq\cdots$，定义

$$\lim_{n\to\infty}A_n\coloneqq\bigcup_{n\ge1}A_n,$$

也记作 $A_n\uparrow A$，其中 $A=\bigcup_n A_n$。类似地，对于非增的序列 $A_1\supseteq A_2\supseteq\cdots$，定义

$$\lim_{n\to\infty}A_n\coloneqq\bigcap_{n\ge1}A_n,$$

也记作 $A_n\downarrow A$，其中 $A=\bigcap_n A_n$。

这两个定义也可以从随机试验的视角去理解。比如连续扔硬币，令 $A_n$ 表示“前 $n$ 次出现过正面”，那么 $A_n$ 随 $n$ 增大，而 $\bigcup_n A_n$ 表示“总有某一次会出现正面”。反过来，令 $B_n$ 表示“前 $n$ 次全是反面”，那么 $B_n$ 随 $n$ 减小，而 $\bigcap_n B_n$ 表示“永远没有出现正面”。这里先用这两个事件帮助理解；无限次投掷的概率空间怎样严格构造，我们以后会讨论。

我们当然希望能先算前 $n$ 次的概率，再让 $n$ 越来越大。接下来的命题就告诉我们，概率测度作为一个定义在事件上的函数，是“连续”的：对于单调事件序列，它可以和求极限交换。

1.4 为什么 $\mathcal F$ 不能总取 $2^\Omega$？

我们一开始说了，在 $\Omega$ 是不可数的时候，如果选 $\mathcal F=2^\Omega$，也许没有办法定义出合适的概率测度。我们这儿给出一个证明。我们取 $\Omega=[0,1)$，$\mathcal F=2^\Omega$，并且试图在上面定义一个均匀分布 $\mathbb P$。那么 $[0,1)$ 上的均匀分布应该给每一个集合 $E\subseteq\Omega$ 一个“长度”，而对于这个长度，我们有一些最基本的期待：首先是对于区间 $(a,b)\subseteq[0,1)$，这个长度应该就是 $b-a$。另外就是所谓的“平移不变性”，也就是说如果我们把某个集合 $E$ 整体平移一个距离 $r$，那么它的长度应该是不变的，即 $\mathbb P(E)=\mathbb P(E+r)$。这里 $E+r$ 是把 $E$ 平移了 $r$ 之后，再绕回 $[0,1)$ 的集合，即

$$E+r=\{(x+r)\bmod 1:x\in E\}.$$

其中记号 $t\bmod 1$ 的意思是如果 $t$ 不在 $[0,1)$ 内的话，就把它加上或者减去整数，使得其属于 $[0,1)$。

我们首先在 $\Omega$ 上定义一个等价关系：$x\sim y$ 当且仅当 $x-y\in\mathbb Q$，即两者之差是有理数。那么，根据等价关系的基本性质，这个等价关系诱导出的等价类构成了 $\Omega$ 的一个分划，即 $\Omega=\bigcup_{i\in I}P_i$，满足对于 $i\ne j$，$P_i\cap P_j=\emptyset$，并且任意 $x,y\in P_i$ 都有 $x\sim y$。

我们现在从每一个 $P_i$ 中选出一个元素 $s_i$ 来，把它们放在一起，构成集合 $N$，即 $N=\{s_i:i\in I\}$。这一步需要选择公理保证。对于每一个 $r\in\mathbb Q\cap[0,1)$，我们考虑集合

$$N_r\coloneqq N+r=\{(x+r)\bmod 1:x\in N\}.$$

我们首先证明，这些 $N_r$ 构成了 $[0,1)$ 的一个分划。

首先，任意一个 $x\in[0,1)$ 一定属于某个 $N_r$。实际上，假设 $x\in P_i$，那么 $x-s_i\in\mathbb Q$。取

$$r=(x-s_i)\bmod 1,$$

就有 $r\in\mathbb Q\cap[0,1)$，并且 $(s_i+r)\bmod 1=x$，因此 $x\in N_r$。

另一方面，我们要说明，不同的 $N_r$ 不会相交。如果 $x\in N_{r_1}\cap N_{r_2}$，那么可以找到 $s,s'\in N$，使得

$$x=(s+r_1)\bmod 1=(s'+r_2)\bmod 1.$$

这说明 $s+r_1$ 与 $s'+r_2$ 相差一个整数。因此，$s-s'$ 是有理数，即 $s\sim s'$。但我们从每一个等价类里只选了一个代表元，所以必有 $s=s'$。于是 $r_1-r_2$ 是整数；由于 $r_1,r_2$ 都在 $[0,1)$ 中，只能有 $r_1=r_2$。这就证明了，当 $r_1\ne r_2$ 时，$N_{r_1}$ 与 $N_{r_2}$ 不相交。

知道了这些 $N_r$ 是 $\Omega$ 的一个分划之后，我们的公理就保证了，一定有

$$\mathbb P(\Omega) =\sum_{r\in\mathbb Q\cap[0,1)}\mathbb P(N_r).$$

这里用到了两件事情：因为我们假设 $\mathcal F=2^\Omega$，所以每个 $N_r$ 都是事件；而 $\mathbb Q\cap[0,1)$ 是可数集，所以可以使用可数可加性。

我们知道上式的左手边等于1，而且由于平移不变性，每一个 $\mathbb P(N_r)$ 都是相同的，并且都等于 $\mathbb P(N)$。因此，我们有可数无穷个 $\mathbb P(N)$ 相加等于1。但这显然是不可能的：如果 $\mathbb P(N)=0$，则右边等于0；如果 $\mathbb P(N)>0$，则右边为无穷大。

这个证明告诉我们，$\mathcal F$ 里面的集合太多了，以至于我们没有办法给每个集合一个满足这些要求的长度。这里不能定义的是我们所希望的、平移不变的均匀概率测度。

所以我们应该如何设定 $\mathcal F$，从而定义出 $[0,1)$ 上的均匀分布呢？我们刚才说了，直观上对于区间 $(a,b)\subseteq[0,1)$，我们一定要有 $\mathbb P((a,b))=b-a$。因此，我们要把所有的区间都放到 $\mathcal F$ 里面去。我们考虑能省则省的原则，认为这就够了。由于我们要求 $\mathcal F$ 一定要是一个 $\sigma$-代数，我们可以取 $\mathcal F$ 为包含所有区间的“最小”的那个 $\sigma$-代数，这个被称为 Borel $\sigma$-代数。我们接着定义这个最小的概念，并说明它总是存在的。

首先我们说明一下，$\sigma$-代数是对求交封闭的。固定样本空间 $\Omega$。假设对于非空的、可能不可数的指标集 $I$，每一个 $\mathcal F_\alpha\subseteq2^\Omega$ 都是 $\sigma$-代数，则

$$\mathcal F\coloneqq\bigcap_{\alpha\in I}\mathcal F_\alpha$$

也是 $\sigma$-代数。这件事情的证明非常简单，按照 $\sigma$-代数的定义逐条验证即可。值得说明的是，如果把交集换成并集，就不一定对了。

设 $\mathcal G\subseteq2^\Omega$ 是 $\Omega$ 的一些子集组成的集合族，不一定是 $\sigma$-代数。我们用 $\sigma(\mathcal G)$ 表示包含 $\mathcal G$ 的最小的 $\sigma$-代数：

• 首先，$\sigma(\mathcal G)$ 是一个 $\sigma$-代数，并且包含 $\mathcal G$；
• 对于任何包含 $\mathcal G$ 的 $\sigma$-代数 $\mathcal F'$，都有 $\sigma(\mathcal G)\subseteq\mathcal F'$。这便是“最小”的意思。

对于任何 $\mathcal G$，$\sigma(\mathcal G)$ 总是存在的。这是由于首先 $2^\Omega$ 本身就是包含 $\mathcal G$ 的一个 $\sigma$-代数。因此，我们可以取 $\sigma(\mathcal G)$ 为所有包含 $\mathcal G$ 的 $\sigma$-代数的交。它一定是存在的，而且根据交的定义，也一定是最小的。

有了合适的事件族，在它上面构造均匀概率测度就是接下来的任务。这件事情我们在后面讨论一般概率空间时完成。

1.5 条件概率

前面我们把随机试验写成了概率空间，也讨论了事件之间的集合关系。接下来介绍的概念，同样可以写成集合上的公式，但它们背后有很丰富的概率含义。我们要问的是：知道了一件事以后，原来的概率应该怎样改变？

我们仍然考虑两枚公平、独立的骰子。注意，这里用的是例1.1中的公平模型。设 $A$ 表示“第一枚骰子是6”，$B$ 表示“两个点数的和是偶数”。在已知 $B$ 的情况下，$A$ 发生的概率是多少？

和是偶数，说明两个点数同为奇数或者同为偶数，所以 $B$ 中有18个等可能的结果。其中第一枚为6的结果是 $(6,2),(6,4),(6,6)$，一共有3个。因此，所求概率应该是 $3/18=1/6$。

我们把这个计算写成概率的形式，就是

$$\frac{\mathbb P(A\cap B)}{\mathbb P(B)} =\frac{3/36}{18/36}=\frac16.$$

这里的做法很自然：既然知道 $B$ 发生了，我们只保留 $B$ 中的结果，再把这些结果的总概率重新归一化成1。如果各个样本点并不等可能，就把它们原来的概率除以 $\mathbb P(B)$，而不是重新给它们相同的概率。

固定 $B$ 以后，$\mathbb P_B(A)\coloneqq\mathbb P(A\mid B)$ 本身也是 $\mathcal F$ 上的一个概率测度。也就是说，条件化给我们的是一套新的概率。

条件化以后，概率未必保持原来的值。如果已知的是“两个点数的和至少为10”，留下来的只有 $(4,6),(5,5),(5,6),(6,4),(6,5),(6,6)$ 六个结果，其中3个满足第一枚为6，条件概率就变成了 $1/2$。下面可以直接改变条件，看看分子、分母各自发生了什么。

在定义中，$\mathbb P(B)>0$ 这个条件不能省。如果分母为零，上面的比值没有定义，不能把 $0/0$ 当成0。以后我们要讨论连续随机变量的条件分布时，还会碰到这个问题。

同时发生与链式法则

注意到上式是条件概率的定义，我们可以把它改写成

$$\mathbb P(A\cap B)=\mathbb P(B)\mathbb P(A\mid B).$$

这个形式可以更方便地解释成：“事件 $A$ 和 $B$ 同时发生的概率，等于 $B$ 发生的概率，乘上在已知 $B$ 发生时 $A$ 发生的概率。”

对于 $n$ 个事件，我们不停地使用这个等式。令 $H_0=\Omega$，并令 $H_k=\bigcap_{i=1}^k A_i$。只要 $\mathbb P(H_k)>0$ 对 $k<n$ 成立，就有

$$\mathbb P(H_n)=\mathbb P(H_{n-1})\mathbb P(A_n\mid H_{n-1}) =\prod_{k=1}^n\mathbb P(A_k\mid H_{k-1}).$$

这就是条件概率的链式法则。如果我们想计算 $n$ 个事件同时发生的概率，可以先算第一个事件的概率，再乘上已知第一个发生时第二个发生的概率，再乘上已知前两个都发生时第三个发生的概率，如此继续。

这里没有要求事件独立。如果某个前缀 $H_k$ 已经有概率0，那么 $\mathbb P(H_n)=0$，直接结束计算即可，不必再写后面没有定义的条件概率。

我们可以通过一些简单的例子，看看怎样把题目中的自然语言对应到概率空间中的事件。

1.6 事件的独立性

对于两枚公平独立骰子，如果已知第二枚为4，第一枚为6的概率仍然是 $1/6$。我们把这两个事件记作 $A$ 和 $B$，就有 $\mathbb P(A\mid B)=\mathbb P(A)$。

独立性描述的就是这种情形。我认为，这是一个非常具有概率风味的概念。尽管在有限等可能空间中，我们可以把所有计算都翻译成组合计数，但“知道一件事没有改变另一件事的概率”这个直观，用计数的语言表达就不那么方便了。

为了把概率为零的事件也包括进来，我们用不需要除法的等式定义独立性。

当 $\mathbb P(B)>0$ 时，第一个等式等价于 $\mathbb P(A\mid B)=\mathbb P(A)$。当 $\mathbb P(A)>0$ 时，也等价于 $\mathbb P(B\mid A)=\mathbb P(B)$。因此，独立性是对称的。

我们在自然语言中，经常使用“互不影响”等类似表达来描述独立性。这是独立性的直观来源，但在做数学证明时必须回到定义。两件事有没有因果关系，与模型中两个事件是否独立，不是同一个问题。

另一个容易混淆的概念是互斥。如果 $A,B$ 不可能同时发生，而且各自概率都大于0，那么它们恰好不独立：$\mathbb P(A\cap B)=0$，而 $\mathbb P(A)\mathbb P(B)>0$。知道其中一件发生，已经告诉我们另一件没有发生。

定义里的子集为什么不能少检查？

相互独立的定义看起来非常强：它要求对每一个非空指标子集都检查等式。下面两个例子说明，不能只检查全部事件，也不能只检查两两。

我们还可以把相互独立的定义写成：对每一种取法 $D_i=A_i$ 或 $D_i=\Omega$，都有 $\mathbb P(\bigcap_iD_i)=\prod_i\mathbb P(D_i)$。这正是用 $\Omega$ 表示“这一项不检查”。

两两独立在计算机科学里很有用。生成随机位是需要资源的，而有些分析只需要较弱的独立性。等学到方差以后，我们会看到两两独立已经能完成一些重要计算；本章选读也会给出一种具体构造。

条件独立

这就是在新的概率测度 $\mathbb P_C$ 下使用独立性的定义。条件独立与原来的独立性有什么关系？下面两个例子说明，它们不能互相推出。

这两个例子说明，独立性总是相对于一套确定的概率而言的。增加或忘掉信息，都可能改变这种关系。以后讲条件期望和统计预测时，我们还会回到这里。

1.7 全概率公式与贝叶斯公式

我们接下来使用条件概率，来把一些看起来不好算的概率写成会算的量。

设事件 $B_1,B_2,\ldots$ 构成 $\Omega$ 的一个有限或可数分划，也就是它们两两不交，并且并起来是整个 $\Omega$。对任意事件 $A$，各个 $A\cap B_i$ 也就把 $A$ 分成了互不重叠的部分。

根据可数可加性，

$$\mathbb P(A)=\mathbb P\left(\bigcup_i(A\cap B_i)\right) =\sum_i\mathbb P(A\cap B_i).$$

直观上来说，我们是在对于事件 $A$ 是否发生按照 $B_i$ 作分情况讨论。它又被叫做全概率公式。

换句话说，想算 $A$ 的概率，可以先按照 $B_i$ 分类，再把每一类的贡献全部加起来。每一类的贡献，是这一类本来出现的概率，乘上在这一类中 $A$ 发生的概率。

在统计中，我们把 $\mathbb P(B_j)$ 称为看到 $A$ 之前的先验概率，把 $\mathbb P(B_j\mid A)$ 称为看到 $A$ 之后的后验概率。

1.8 Karger 的最小割算法

我们来看一个经典的算法问题，求图上的最小割。给定一个有 $n\ge2$ 个顶点的连通无向图 $G(V,E)$，我们说一个边集 $C\subseteq E$ 是一个割，当且仅当把 $C$ 从图中删掉之后，得到的图 $G(V,E\setminus C)$ 是不连通的。最小割问题即寻找图上最小的一个割。

学过算法的同学都知道，我们可以用最大流的方法来寻找最小割：固定一个源 $s$ 并枚举所有可能的汇 $t$，对每一个源-汇对 $(s,t)$ 求解最大流，其残量网络（residual network）给出了最小割。使用2022年的最大流算法，这种方法需要 $nm^{1+o(1)}$ 的时间来寻找这个最小割，其中 $n=|V|$，$m=|E|$。我们来介绍一个随机算法，实现非常简单。

我们定义图上的所谓缩边（contraction） 的操作。给定边 $e=\{u,v\}\in E$ ，我们缩掉 $e$ 的操作指的是把 $u$ 和 $v$ 合并成一个点，并且删掉之前所有 $u$ 与 $v$ 之间的边（它们俩与别的点相连的边依然保留，形成的平行边也要保留）。我们把缩完之后的图记作 $G/e$。如下图所示，我们缩掉了边 $\{1,2\}$。

Karger算法非常简单，从 $G$ 出发，每一次均匀随机选择一条边（平行边按重数计），把它缩掉。重复执行 $n-2$ 次之后，图中只剩两个点了，然后输出所有剩下的边。

while G contains more than two vertices do
    Choose an edge e uniformly at random
    Contract e in G
return  remaining edges

这个算法“有可能”成功的原因也很简单，由于我们关心的是“最小的”割，那么算法的每一步，选到割中的边的概率都不会太大。当然了，要谈论这个概率，我们需要有合适的概率空间。一个自然的样本空间可以是算法执行过程中所有（有序的）被选来缩掉的边的序列。我们可以在上面定义合适的概率测度。

我们设 $C$ 是一个固定的最小割，并且其大小是 $k$。我们来计算算法最终输出 $C$ 的概率。很容易发现，算法最终输出 $C$ ，当且仅当算法执行 while 的循环中，每一次都没有选到 $C$ 中的边。因此，我们用 $A_i$ 来表示上面代码里面第 $i$ 次执行完 while 循环之后，还没有删过任何一个 $C$ 中边的这个事件。为了分析 $\mathbb P(A_i)$ ，我们对于每一个 $i=1,2,\dots,n-2$，定义事件 $B_i$ 为“第 $i$ 次 while 循环选择的不是 $C$ 中边”这一事件。那么显然有 $A_i=\bigcap_{j=1}^i B_j$，并约定 $A_0=\Omega$。因此，由条件概率的链式法则， $$\mathbb P(\text{算法输出 }C)=\mathbb P(A_{n-2}) =\prod_{i=1}^{n-2}\mathbb P\!\left(B_i\mid\bigcap_{j=1}^{i-1}B_j\right).$$ 我们希望给上述概率一个下界，即每一轮均有比较大的概率不选到 $C$ 中的边。由于我们每一轮是均匀的选， 因此我们只需要证明，对于第 $i$ 轮，在已知 $\bigcap_{j=1}^{i-1} B_j$，即前 $i-1$ 轮均没有选到 $C$ 中边的情况下，图中剩余的边足够多即可。一个最重要的观察是 > 此时，图中每一个顶点的度数均不少于 $k$。

这件事情成立的原因是，如果有一个顶点的度数 $<k$，那么在当前的图中，这个顶点与其邻居相连的边，构成了该图中的一个割。同时，也不难发现，这个割也一定是原图 $G$ 中的一个割（因为收缩这种操作不会破坏它是割的性质）。但这就说明，我们找到了一个大小比 $k$ 更小的割，这与我们假设 $C$ 是最小的割矛盾。