测度、随机变量与积分

我们在前面两章里已经同离散概率空间打了不少交道：随机变量、期望、方差，还有赠券收集、随机图这些具体的模型，使用我们基础的数学工具处理起来都还算得心应手。但回头想一想就会发现，我们此前一直默认了一件非常舒服的事情：样本空间 $\Omega$ 是有限或者可数的，而事件族 $\mathcal F$ 干脆就是全体子集 $2^\Omega$。第一章的 1.4 节已经告诉过我们——只要样本空间像区间 $(0,1]$ 那样“足够大”，我们就没有办法在全体子集 $2^\Omega$ 上定义出一个既满足可数可加性、又满足平移不变性的均匀概率。

从这一章开始，我们将发展一般概率论的理论。本章要做两件事：第一，把“区间的长度”推广为 Borel $\sigma$-代数上的概率测度，从而严格构造出 $(0,1]$ 上的均匀分布（即勒贝格测度）；第二，用离散逼近的思想，把期望从离散随机变量推广到一般的可测函数——也就是实分析中的勒贝格积分（Lebesgue integral）。做完这两件事，我们在前面两章建立的几乎所有结论，都会在一般概率空间上获得一个统一、严格而且非常好用的基础。

3.1 从 $(0,1]$ 上的均匀分布说起

我们首先还是从如何定义 $\Omega=(0,1]$ 上的均匀分布说起。第一章 1.4 节提到，我们需要对所有 Borel 集 $\mathcal B$，也就是那些包含了开区间的最小的 $\sigma$-代数里的集合定义概率。这件事情直接做是比较困难的，因为 $\mathcal B$ 里集合的形态实在太复杂了。于是，我们退一步，从最简单的集合——区间——开始，一步一步地把概率构造出来。我们将要构造的这个概率测度用 $\lambda$ 表示。

区间与有限个区间的并

直观上来说，我们就是要给 $(0,1]$ 的子集定义出它的大小／长度。最简单的自然是区间。对于 $a\le b$，一个左开右闭区间 $I=(a,b]$ 指的是 $\{x\in\mathbb R\mid a<x\le b\}$。对于 $\Omega$ 上的区间 $I=(a,b]$，我们定义 $\lambda(I)=b-a$ 为 $I$ 的长度。

区间的长度定义好了，接下来要考虑的集合就是那些有限个区间的并。我们说一个集合 $I\subseteq(0,1]$ 是有限个区间的非交并，当且仅当 $I=\bigsqcup_{i=1}^n I_i$，其中每个 $I_i=(a_i,b_i]$ 都是一个区间。对于 $I=\bigsqcup_{i=1}^n I_i$，我们自然地定义 $\lambda(I)=\sum_{i=1}^n\lambda(I_i)=\sum_{i=1}^n(b_i-a_i)$。我们用 $\mathcal B_0(\Omega)$ 来表示 $\Omega$ 上所有可以写成有限个左开右闭区间之并的集合构成的集族。

我们可以验证，$\mathcal B_0(\Omega)$ 对于两个集合的并，以至于任意有限个集合的并都是封闭的：因为有限个可以写成有限个区间的并的集合的并可以写成有限个区间的并好绕口。那我们的构造是不是到 $\mathcal B_0(\Omega)$ 就可以收工了呢？并不是，因为 $\mathcal B_0(\Omega)$ 还不是一个 $\sigma$-代数，它对于可数并并不封闭。比如，只包含一个点的单点集 $\{0.5\}\notin\mathcal B_0(\Omega)$，但显然 $\{0.5\}=\bigcap_{n\ge1}(0.5-2^{-n},0.5]$。

代数

事实上，$\mathcal B_0(\Omega)$ 是一个代数（algebra）。对于一个集合 $\Omega$ 和定义在上面的子集族 $\mathcal F$，如果它满足如下条件，我们就称其为代数：

由第三条立即可推：对于任何有限个 $A_1,\dots,A_n\in\mathcal F$，都有 $\bigcup_{i=1}^n A_i\in\mathcal F$。这个定义和我们之前学过的 $\sigma$-代数唯一的区别就在第三条——我们把可数并的要求弱化成了有限并。

代数上的测度

我们同样可以在代数上定义概率测度与一般的测度。

我们注意到，这儿和 $\sigma$-代数 $\mathcal F$ 上定义的测度唯一的区别是：第三条只需要在“如果 $\bigsqcup_{n\ge1}A_n\in\mathcal F_0$”的前提下成立。因为根据定义，代数 $\mathcal F_0$ 对可数并是不一定封闭的。这一条性质同样称为 $\sigma$-可加性。

对于一般的测度 $\mu$，我们允许它在某些集合上的取值是 $\infty$，因此它的值域是扩充非负实数集 $[0,\infty]$。这儿的 $\infty$ 可以想象成我们往 $\mathbb R$ 里添加了一个称为无穷大的符号，它满足如下直观的运算法则：

• 对于所有 $a\in[0,\infty]$，$a+\infty=\infty$；
• 对于所有 $a\in(0,\infty]$，$a\cdot\infty=\infty$；
• 对于所有 $a\in[0,\infty)$，$\infty-a=\infty$；
• $0\cdot\infty=0$；
• $\infty-\infty$ 无定义。

我们称测度 $\mu$ 是有限的（finite），当且仅当 $\mu(\Omega)<\infty$；否则称之为无限的（infinite）。特别地，全空间测度为 $1$ 的有限测度就是概率测度。在无限测度中，性质最温和、也最常用的一类是所谓的 $\sigma$-有限测度（$\sigma$-finite measure）：如果存在一列可测集 $E_1,E_2,\dots\in\mathcal F_0$（当测度定义在 $\sigma$-代数 $\mathcal F$ 上时，则取 $E_n\in\mathcal F$），使得 $\Omega=\bigcup_{n\ge1}E_n$ 且对每个 $n\ge1$ 都有 $\mu(E_n)<\infty$，我们就称测度 $\mu$ 是 $\sigma$-有限的。直观上说，$\sigma$-有限测度虽然在全空间上的总质量可能是 $\infty$，但整个空间可以被拆成可数块“有限大小”的碎片来逐块控制。

测度的扩张

我们希望概率论是建立在 $\sigma$-代数上的（比如我们希望上面提到的单点集长度 $\lambda(\{0.5\})$ 是有定义的），因此，我们要把定义域从代数 $\mathcal B_0(\Omega)$ 扩张出去。定义 $\mathcal B(\Omega)=\sigma(\mathcal B_0(\Omega))$ 为包含 $\mathcal B_0(\Omega)$ 的最小的 $\sigma$-代数。我们在第一章已经说明过它是良定义的，而且严格比 $\mathcal B_0(\Omega)$ 大。下面这个定理是测度论的基石之一：它告诉我们，只要代数上的一个测度满足 $\sigma$-可加性，就一定可以被扩张到它所生成的 $\sigma$-代数上去。

当然，本课程不会对测度论进行面面俱到的展开，只会引入我们未来研究概率论真正需要用到的概念和工具。为了把 Carathéodory 扩张定理用到我们的区间代数 $\mathcal B_0(\Omega)$ 上，我们必须首先证明：在 $\mathcal B_0(\Omega)$ 上按“区间长度之和”定义的 $\lambda$ 确实是 $\sigma$-可加的。证明这件事需要利用到实数集的一些不平凡的拓扑性质。我们把它的证明放在本节最后。

上述引理配合 Carathéodory 扩张定理，保证了我们可以把 $\lambda$ 的定义域从 $\mathcal B_0(\Omega)$ 扩张到整个 Borel $\sigma$-代数 $\mathcal B(\Omega)$。扩张后的 $\lambda$ 就称为勒贝格（Lebesgue）测度，也就是 $(0,1]$ 上的均匀分布。

$\mathbb R$ 与 $\mathbb R^d$ 上的勒贝格测度

由于我们已经允许测度取 $\infty$，前面在 $(0,1]$ 上构造勒贝格测度的方法可以无痛推广到整条实数轴 $\mathbb R$ 上。也就是说，对于任意 $a\le b\in\mathbb R$，我们定义 $\lambda((a,b])=b-a$，然后使用完全相同的方法把测度扩张到 $\mathbb R$ 上所有的 Borel 集 $\mathcal B(\mathbb R)$ 上。未来我们会直接用 $\mathcal B$ 来代表 $\mathcal B(\mathbb R)$。注意到，这样定义的实数轴上的勒贝格测度是个无限测度（$\lambda(\mathbb R)=\infty$），但因为 $\mathbb R=\bigsqcup_{k\in\mathbb Z}(k,k+1]$ 且每一段有界区间的长度都是 $\lambda((k,k+1])=1<\infty$，它是一个非常典型的 $\sigma$-有限测度。

同样，对于整数 $d\ge2$，我们可以类似地定义 $d$ 维欧氏空间 $\mathbb R^d$ 上的勒贝格测度：只需把左开右闭区间 $(a,b]$ 换成左开右闭矩形 $\prod_{i=1}^d(a_i,b_i]$，并定义其体积为 $\prod_{i=1}^d(b_i-a_i)$ 即可。

引理 3.4 的证明

我们先证明一个针对单个区间的关键引理。

这个引理的威力在于：它从 $\lambda$ 定义中自带的有限可加性突破到了可数可加性，实现了从有限到无限的跨越。而这一步之所以能走通，核心原因是实数集上有界闭区间的紧性（Heine–Borel 定理）。在接下来的讨论里，我们设 $I=(a,b]$，且 $I_k=(a_k,b_k]$。

• 首先说明比较容易的一半：如果 $\bigsqcup_{k\ge1}I_k\subseteq I$，那么 $\sum_{k\ge1}\lambda(I_k)\le\lambda(I)$。为此，我们只需要对任意有限的 $N\ge1$ 证明 $\sum_{k=1}^N\lambda(I_k)\le\lambda(I)$，再令 $N\to\infty$ 取极限即可；而有限个互不相交的子区间长度之和不超过大区间长度，用数学归纳法便能轻松验证，留给大家自己动手试试。

• 接着我们来说明真正非平凡的另一半：如果 $I\subseteq\bigcup_{k\ge1}I_k$，那么 $\lambda(I)\le\sum_{k\ge1}\lambda(I_k)$。注意到这儿我们甚至不需要要求 $I_k$ 两两不相交，结论依然成立。同样地，有限覆盖的情况（即若 $I\subseteq\bigcup_{k=1}^NI_k$，则 $\lambda(I)\le\sum_{k=1}^N\lambda(I_k)$）可以用归纳法直接证明。

  现在来看可数无穷个区间覆盖的情况。任意固定一个 $\varepsilon\in(0,b-a)$（若 $b=a$ 则结论平凡成立）。我们把左边缩进一点点变成闭区间 $[a+\varepsilon,b]$，同时把每个 $I_k=(a_k,b_k]$ 的右端点往右稍微放宽 $\varepsilon2^{-k}$ 变成开区间 $(a_k,b_k+\varepsilon2^{-k})$。这样一来，闭区间 $[a+\varepsilon,b]$ 就被一族开区间覆盖住了：

$$[a+\varepsilon,b]\subseteq(a,b]\subseteq\bigcup_{k\ge1}(a_k,\,b_k+\varepsilon2^{-k}).$$

Heine–Borel 定理告诉我们，实数轴上的有界闭区间是紧集，它的每一个开覆盖一定存在有限子覆盖。所以，存在某个正整数 $N\in\mathbb N$，使得

$$(a+\varepsilon,b]\subseteq[a+\varepsilon,b]\subseteq\bigcup_{k=1}^N(a_k,\,b_k+\varepsilon2^{-k})\subseteq\bigcup_{k=1}^N(a_k,\,b_k+\varepsilon2^{-k}].$$

这就回到了有限个左开右闭区间覆盖的情形！直接套用有限情形的结论，我们有

$$b-(a+\varepsilon)\le\sum_{k=1}^N(b_k+\varepsilon2^{-k}-a_k)\le\sum_{k\ge1}(b_k-a_k)+\varepsilon.$$

即 $b-a\le\sum_{k\ge1}(b_k-a_k)+2\varepsilon$。由于 $\varepsilon>0$ 可以取任意小，令 $\varepsilon\downarrow0$ 即得 $\lambda(I)\le\sum_{k\ge1}\lambda(I_k)$。

有了引理 3.5，$\lambda$ 在代数 $\mathcal B_0((0,1])$ 上的 $\sigma$-可加性便水到渠成了。假设两两不相交的 $A_1,A_2,\dots\in\mathcal B_0((0,1])$，并且它们的非交并 $A:=\bigsqcup_{k\ge1}A_k$ 也落在 $\mathcal B_0((0,1])$ 中。由于它们都是 $\mathcal B_0((0,1])$ 里的元素，我们可以把它们各自拆成有限个左开右闭区间的非交并：$A=\bigsqcup_{i=1}^nI_i$，以及 $A_k=\bigsqcup_{j=1}^{m_k}J_{kj}$。注意到每一个区间 $I_i$ 都可以被细分拆解成小区间 $I_i\cap J_{kj}$ 的可数非交并：

$$I_i=\bigsqcup_{k\ge1}\bigsqcup_{j=1}^{m_k}(I_i\cap J_{kj}),\qquad J_{kj}=\bigsqcup_{i=1}^n(I_i\cap J_{kj}).$$

对每个 $I_i$ 和 $J_{kj}$ 分别应用引理 3.5（并利用非负级数重排求和不变的性质），立刻得到

$$\begin{aligned} \lambda(A)&=\sum_{i=1}^n\lambda(I_i)=\sum_{i=1}^n\sum_{k\ge1}\sum_{j=1}^{m_k}\lambda(I_i\cap J_{kj})\\ &=\sum_{k\ge1}\sum_{j=1}^{m_k}\sum_{i=1}^n\lambda(I_i\cap J_{kj})=\sum_{k\ge1}\sum_{j=1}^{m_k}\lambda(J_{kj})=\sum_{k\ge1}\lambda(A_k). \end{aligned}$$

3.2 单调类定理

在接下来的学习中，我们会频繁遇到这样一类任务：已知某个很好的性质在一个结构简单的代数 $\mathcal F_0$ 上成立，现在想要证明该性质在 $\mathcal F_0$ 生成的 $\sigma$-代数 $\sigma(\mathcal F_0)$ 上也成立。直接对 $\sigma(\mathcal F_0)$ 中的一般集合下手往往无从着力，因为经过无穷次交、并、补混合操作之后，集合的形态早已面目全非；而单调类定理就给了我们绕开正面硬刚、四两拨千斤地解决这类问题的标准工具。

单调类与定理的陈述

固定一个集合 $\Omega$。我们先引入一类只对“单调极限”封闭的集合族。

单调类定理说的就是下面这件非常漂亮的事情：只要起点是一个代数，那么“只对单调极限封闭”就已经足以跨到整个生成 $\sigma$-代数了。

在给出单调类定理的证明之前，我们先来看两个精彩的应用，体会一下怎样用它来解决本节开头提出的那类问题。这套证明套路非常典型，我们在本章后面还会一用再用。

应用一：用代数中的集合逼近 Borel 集

我们前面构造 Borel 集的方法，是先考虑由“有限个左开右闭区间之并”组成的代数 $\mathcal B_0$，再取 $\mathcal B=\sigma(\mathcal B_0)$。虽然 $\mathcal B$ 里面的集合可以复杂得超出直观想象，但下面这个定理告诉我们：在概率测度下，$\sigma(\mathcal F_0)$ 中的任何一个集合，都可以被原代数 $\mathcal F_0$ 中的某个简单集合任意精确地“逼近”。

我们先说明什么叫两个集合彼此接近。给定两个集合 $A,B$，定义它们的对称差为 $A\Delta B:=(A\setminus B)\cup(B\setminus A)$，即恰好属于其中一个集合而不属于另一个集合的元素全体。

应用二：测度的唯一性

我们用同样的套路来说明：刚才在 3.1 节用 Carathéodory 扩张定理得到的 $\sigma$-代数上的概率测度不仅是存在的，而且是唯一的。具体来说，只要两个概率测度在生成代数 $\mathcal F_0$ 上取值完全一致，那么它们在整个 $\mathcal F=\sigma(\mathcal F_0)$ 上也必定完全一致。

定理 3.7 的证明

可数乘积与柱集：把第二章的欠债补上

第二章 2.5 节讨论赠券收集问题时，我们曾写下过一个无穷长的抽卡序列空间 $\Omega=[N]^{\mathbb N}$，并且承诺“对应的可数乘积概率空间将在第三章严格构造”。有了 Carathéodory 扩张定理和单调类定理，现在我们终于可以兑现这句承诺了。

这个命题的构造路线与我们在 $(0,1]$ 上构造勒贝格测度如出一辙：所有“有限个柱集的非交并”在 $\Omega$ 上组成一个代数 $\mathcal F_0$（因为任何只限制前有限个坐标的事件，都可以统一对齐到前 $k$ 个坐标上做交、并、补）；我们在 $\mathcal F_0$ 上按独立乘积公式定义 $\mathbb P$，验证它在 $\mathcal F_0$ 上的 $\sigma$-可加性后，直接调用 Carathéodory 扩张定理（定理 3.3）和唯一性定理（定理 3.9），就把 $\mathbb P$ 唯一地扩张到了生成 $\sigma$-代数 $\mathcal F=\sigma(\mathcal F_0)$ 上。

3.3 随机变量与分布函数

有了 Borel $\sigma$-代数，我们现在可以把“随机变量”这个词从有限或可数样本空间搬到一般的概率空间上了。

随机变量与可测函数

给定一个样本集 $\Omega$ 以及定义在上面的 $\sigma$-代数 $\mathcal F\subseteq2^\Omega$，我们称二元组 $(\Omega,\mathcal F)$ 为一个可测空间。再在上面配一个概率测度 $\mathbb P$，三元组 $(\Omega,\mathcal F,\mathbb P)$ 就是一个概率空间。

回忆在离散概率空间的时候，我们把任何 $\Omega\to\mathbb R$ 的函数都直接叫做随机变量；这是因为在那个时候，我们总是把事件域 $\mathcal F$ 取成幂集 $2^\Omega$，因此任何子集都是事件、任何函数都自动是可测的。而在一般的概率空间上，“可测”这个要求是非常自然的：因为我们在研究随机变量 $X$ 的时候，迟早要对各种 Borel 集 $A$（比如区间）追问事件“$X\in A$”发生的概率 $\mathbb P(X\in A)$；既然概率测度 $\mathbb P$ 只定义在 $\mathcal F$ 上，我们就必须保证 $[X\in A]\in\mathcal F$。

验证随机变量

一旦加上了可测性的要求，随便给一个函数 $X:\Omega\to\mathbb R$，它是不是随机变量就需要验证了。好消息是，我们根本不需要对所有奇形怪状的 Borel 集 $A\in\mathcal B$ 一一检查 $[X\in A]\in\mathcal F$——我们只需检查那些形如 $(-\infty,r]$（其中 $r\in\mathbb Q$ 是有理数）的半无穷区间就足够了。