离散随机变量与期望

2.1 随机变量与分布

离散概率空间上的随机变量

在做随机试验的时候，我们经常会关注样本点的某些性质。比如，假设我们在班上随机选一个同学，我们会想知道该同学的身高。或者，我们随机投掷两个骰子，我们想知道两个骰子的点数和。这儿，同学的身高和骰子的点数和均是定义在样本空间 $\Omega$ 上的函数，这也是我们所谓随机变量的定义。

我们固定一个概率空间 $(\Omega,\mathcal F,\mathbb P)$。我们今天所有的讨论均假设 $\Omega$ 是离散的，即它是有限的或者可数的，并且 $\mathcal F=2^\Omega$。这么做的目的是让大家尽快地接触到概率论里面的一些核心概念并建立相应的直观。事实上，本课程的主要目的之一便是在一般的样本空间上定义相关的概念，这也是我们之后会讨论的话题。

所以实际上，随机变量它既不随机，也不是变量，它仅仅是一个从样本集到实数集的函数而已。对于一般的样本空间，我们会要求 $X$ 是可测（measurable）的。但我们这儿取的 $\mathcal F=2^\Omega$，因此，任意一个函数均是随机变量。

我们经常会关心一类特殊的随机变量，即所谓的指示变量。对于事件 $A\in\mathcal F$，我们定义

换句话说，$\mathbf 1_A$ 用来指示样本点 $\omega\in\Omega$ 是否在集合 $A$ 中。

一些新的记号

我们通常会关心关于随机变量的一些问题，比如“随机选一个同学，身高不超过170的概率是多大”。我们因此需要引入一些新的记号，比如对于 $a\in\mathbb R$，定义记号形如 $\mathbb P(X\le a)$。事实上，我们有

$$\mathbb P(X\le a)\coloneqq\mathbb P(\{X\le a\}),$$

其中 $\{X\le a\}\coloneqq\{\omega\in\Omega:X(\omega)\le a\}$。有了这个定义，我们便可以用 $\mathbb P(X\le170)$ 来表示随机选一个同学，身高不超过170的概率了。注意到，这儿的 $\mathbb P$ 就是概率空间里面的 $\mathbb P$，它的输入是 $\{X\le a\}$，这是一个 $\mathcal F$ 中的集合。因此，这是良定义的。

类似地，对于任何一个集合 $A\in\mathcal B$，我们用 $\{X\in A\}$ 表示 $\{\omega\in\Omega:X(\omega)\in A\}$。因此，可以定义

$$\mathbb P(X\in A)\coloneqq\mathbb P(\{X\in A\}).$$

我们同样可以类似地定义 $\mathbb P(X\ge a)$、$\mathbb P(X=a)$ 等直观的记号，这里就不再赘述了。

此外，我们有时候也用 $X^{-1}(A)$ 来表示 $\{X\in A\}$，即集合 $A$ 在函数 $X$ 下 $\Omega$ 中的原像。

随机变量的分布

我个人认为，关于随机变量的各种术语以及黑话里面，“分布”这个词经常被误用或者滥用，我们在这里严格地把它定义清楚。考虑一个定义在离散概率空间 $(\Omega,\mathcal F=2^\Omega,\mathbb P)$ 上的随机变量 $X\colon\Omega\to\mathbb R$。设 $(\mathbb R,\mathcal B)$ 是实数及其上面的 Borel 集的集合。我们可以定义出一个集合函数 $\mu_X\colon\mathcal B\to\mathbb R$，满足

$$\forall A\in\mathcal B,\qquad \mu_X(A)=\mathbb P(X\in A).$$

那么，$\mu_X$ 被称为 $X$ 的分布（distribution），或者是 $X$ 的律（law）。我们接着验证，$\mu_X$ 是 $(\mathbb R,\mathcal B)$ 上的一个概率测度。

在我们讨论的场合里，由于 $X$ 是定义在可数集上的函数，它的值域最多包含可数个点。我们用 $\operatorname{Im}(X)=\{x_1,x_2,\ldots\}$ 来表示。我们也因此称 $X$ 为离散随机变量。显然，$X$ 的分布由 $X$ 取 $\operatorname{Im}(X)$ 中值的概率唯一确定，即

$$\forall A\in\mathcal B,\qquad \mu_X(A)=\sum_{a\in\operatorname{Im}(X)\cap A}\mathbb P(X=a).$$

因此，我们可以定义一个函数 $p_X\colon\mathbb R\to[0,1]$，满足对于任何 $x\in\operatorname{Im}(X)$，$p_X(x)=\mathbb P(X=x)$，且在 $\mathbb R\setminus\operatorname{Im}(X)$ 上的定义都是零。这个被称之为概率质量函数（probability mass function, pmf）。概率质量函数唯一确定了随机变量的分布 $\mu_X$。

分布的例子

我们来看几个分布的例子。

我们考察扔一个（不一定均匀）硬币的例子。对于给定的 $p\in[0,1]$，定义样本空间 $\Omega=\{H,T\}$，$\mathcal F=2^\Omega$，$\mathbb P$ 满足 $\mathbb P(\{H\})=p$，$\mathbb P(\{T\})=1-p$。我们考虑随机变量 $X\colon\Omega\to\mathbb R$ 满足 $X(H)=1$、$X(T)=0$。换句话说，随机变量把 $H$（表示正面）映射到了1，把 $T$（表示反面）映射到了0。

我们来看 $X$ 定义出来的分布 $\mu_X$。它的概率质量函数显然满足 $p_X(1)=p$，$p_X(0)=1-p$。我们把这样一个分布称之为参数为 $p$ 的伯努利分布（Bernoulli distribution），记作 $\operatorname{Ber}(p)$。

我们考虑另外一个随机试验，即扔 $n\ge1$ 个硬币，每个硬币都是以 $p$ 的概率出现正面。这个随机试验对应的概率空间如下：$\Omega=\{H,T\}^n$ 为所有长度为 $n$ 的 $HT$ 串的集合；$\mathcal F=2^\Omega$。对于每一个 $s\in\Omega$，记 $h(s)$ 和 $t(s)$ 分别为 $s$ 中 $H$ 和 $T$ 的个数，并且

$$\mathbb P(\{s\})=p^{h(s)}(1-p)^{t(s)}.$$

我们现在定义一个随机变量 $Y$，用来表示做了一次这样的随机试验后，得到了多少个正面朝上的硬币。即

$$Y(s)=h(s).$$

我们来考虑 $Y$ 的分布 $\mu_Y$。显然 $\operatorname{Im}(Y)=\{0,1,\ldots,n\}$。由于 $Y$ 也是离散随机变量，$\mu_Y$ 由 pmf $p_Y$ 决定。容易计算得知

$$\forall k=0,1,\ldots,n,\qquad p_Y(k)=\mathbb P(Y=k)=\binom nkp^k(1-p)^{n-k}.$$

我们把这样一个分布称为参数为 $n$ 和 $p$ 的二项式分布（Binomial distribution），记作 $\operatorname{Bin}(n,p)$。

我们再考虑一个随机试验：不停地扔一枚正面概率为 $p$ 的硬币，每次投掷相互独立，其中 $0<p\le1$。令 $G$ 表示第一次出现正面时已经投掷的次数。要使 $G=k$，前 $k-1$ 次都得是反面，而第 $k$ 次必须是正面。因此，它的概率质量函数满足

$$\forall k=1,2,\ldots,\qquad p_G(k)=\mathbb P(G=k)=(1-p)^{k-1}p,$$

在其他实数处取值为零。我们把这样一个分布称为参数为 $p$ 的几何分布（Geometric distribution），记作 $\operatorname{Geom}(p)$。这里的 $G$ 包括成功的那一次投掷，因而从1开始取值。

当 $0<p<1$ 时，等比级数给出

$$\sum_{k=1}^{\infty}p_G(k) =p\sum_{k=1}^{\infty}(1-p)^{k-1}=1.$$

当 $p=1$ 时，$G=1$ 的概率为1。因此，这确实定义了一个概率分布。我们可以在可数样本空间 $\Omega'=\{1,2,\ldots\}$ 上取 $\mathcal F'=2^{\Omega'}$、$\mathbb P'(\{k\})=p_G(k)$，并令 $G'(k)=k$，严格地实现这个分布；无穷长硬币序列对应的概率空间则留待后面构造。我们在2.5节还会回到这个例子，计算它的期望和方差。

“分布”一词容易混淆的地方

我们前文出现“分布”这个词的时候，实际上指了两件事：

• 给定一个具体的概率空间，一个定义在这个概率空间上的随机变量 $X$，该随机变量诱导出的分布 $\mu_X$；
• 一个具体的概率质量函数定义出来的分布，比如 $\operatorname{Ber}(p)$ 或者 $\operatorname{Bin}(n,p)$。

在教科书或者文献中，我们经常会看到形如“设 $X\sim\operatorname{Ber}(p)$”，或者等价地，“设 $X$ 为满足参数为 $p$ 的伯努利分布的随机变量”。这句话往往让人费解。按照定义，$X$ 应该是一个从概率空间到实数的一个函数，当我们这样“设”出来的时候，究竟这个函数，或者说概率空间究竟是什么？

2.2 离散期望

随机变量的期望

随机变量的一个重要的“数字特征”，便是它的期望。它可以想象成当我们做随机试验的时候，$X(\omega)$ 的平均值。它的定义，并不是特别平凡的。我们今天先从定义在离散概率空间上的随机变量开始。

假设 $X$ 是定义在离散概率空间 $(\Omega,\mathcal F,\mathbb P)$ 上的一个随机变量，它的值域 $\operatorname{Im}(X)=\{x_1,\ldots,x_n,\ldots\}$。我们尝试把它的期望定义为 $\sum_{x\in\operatorname{Im}(X)}x\cdot\mathbb P(X=x)$。但这个求和可能是个无穷级数，因此，我们要对其行为进行控制。因此，要进行更加细致的讨论。

我们首先设 $\{\Lambda_i\}_{i\ge1}$ 是对样本空间的一个划分，并且对于任何 $i\ge1$，$X$ 在 $\Lambda_i$ 上是常数，即对于任何 $\omega,\omega'\in\Lambda_i$，$X(\omega)=X(\omega')$。这样的一个划分肯定是存在的，比如我们可以设 $\Lambda_i=X^{-1}(x_i)$。但是，我们这儿给出的划分定义更加一般，因为我们允许对于 $i\ne j$、$\omega\in\Lambda_i$、$\omega'\in\Lambda_j$，有 $X(\omega)=X(\omega')$。我们设对于 $\omega\in\Lambda_i$，$X(\omega)=z_i$（刚才说了，我们允许 $i\ne j$、$z_i=z_j$）。

我们称随机变量 $X$ 是可积（integrable）的，当且仅当级数 $\sum_{i=1}^{\infty}z_i\mathbb P(\Lambda_i)$ 是绝对收敛的，或者等价地，

$$\sum_{i=1}^{\infty}|z_i|\mathbb P(\Lambda_i)<\infty.$$

如果一个随机变量 $X$ 是可积的，我们就把它的期望 $\mathbb E[X]$ 定义为

$$\mathbb E[X]=\sum_{i=1}^{\infty}z_i\mathbb P(\Lambda_i).$$

关于这个定义，小朋友一定有很多问号，包括但可能不限于：

• 这个定义依赖于一个不唯一的分划，它是良定义的吗？
• 为什么要求级数收敛？
• 为什么要求级数绝对收敛？

我们先回答后两个问题。首先，根据我们的定义，一定有 $|\mathbb E[X]|<\infty$。实际上，这个要求是为了我们目前理论开展的方便。我们在不久的未来就会把期望拓展到无穷的情况。所以，我们暂时只允许期望取有限值。其次，为什么要绝对收敛。原因很简单，如果一个级数只是条件收敛，那么变换求和的顺序就可能得到不同的极限值，我们不希望一个随机变量的“平均值”会随着求和的顺序不同而不一样。

回到第一个问题，这个定义是良定义的吗？事实上，我们可以把所有的 $\{\Lambda_i\}_{i\ge1}$ 进行分类，如果 $z_i=z_j$，我们就认为其为一类。我们在计算级数 $\sum_{i=1}^{\infty}z_i\mathbb P(\Lambda_i)$ 的时候，可以先按照 $z_i$ 所有可能的取值进行求和，这对应于对 $x_i$ 进行求和，再对于同一类里面的 $\Lambda_j$ 进行求和，它们一起构成了 $X^{-1}(x_i)$：

$$\begin{aligned} \sum_{i=1}^{\infty}z_i\mathbb P(\Lambda_i) &=\sum_{i=1}^{\infty}x_i \sum_{j\ge1:z_j=x_i}\mathbb P(\Lambda_j)\\ &=\sum_{i=1}^{\infty}x_i\mathbb P(X=x_i). \end{aligned}$$

这就说明了，这个求和与我们选择的分划无关（只需要满足在每一个 $\Lambda_i$ 内 $X$ 是常数）。注意到，所有这些求和可以随意交换的性质，是该级数绝对收敛所保证的。

我们使用这个分划的语言，而不是直接用 $\sum_{i=1}^{\infty}x_i\mathbb P(X=x_i)$ 来定义期望，是为了一些证明的方便。比如说，我们假设 $\Omega=\{\omega_1,\omega_2,\ldots\}$，我们可以令 $\Lambda_i=\{\omega_i\}$，则我们得到期望的另一个表达式

$$\mathbb E[X] =\sum_{\omega\in\Omega}X(\omega)\mathbb P(\{\omega\}).$$

这个和 $\sum_{i=1}^{\infty}x_i\mathbb P(X=x_i)$ 相比，我们分别对函数 $X$ 的“左边”和“右边”加权求和，并得到了一样的值。这种 double counting 的技巧，在处理某些问题的时候会非常有用。

无穷的期望

我们有的时候也会涉及到无穷的期望。我们这里仅对非负的随机变量定义它。对于一般的场合，我们在未来再讨论。

我们来计算一下二项式分布 $Y\sim\operatorname{Bin}(n,p)$ 的期望。根据定义，我们有

$$\begin{aligned} \mathbb E[Y] &=\sum_{k=0}^n k\binom nkp^k(1-p)^{n-k}\\ &=np\sum_{k=0}^{n-1}\binom{n-1}{k}p^k(1-p)^{n-1-k}\\ &=np. \end{aligned}$$

LOTUS

我们今天来讨论离散随机变量的期望的一些基本性质，这些性质在解决具体问题中起着非常重要的作用。

下面这个结论，被称之为 LOTUS（law of the unconscious statistician），原因是它是如此显然，以至于在很多书上被直接当成期望的定义。实际上，它是我们刚才定义的期望的一个推论，是需要证明的。我们说一个函数 $f\colon\mathbb R\to\mathbb R$ 是可测的，当且仅当对于任何 $A\in\mathcal B$，$f^{-1}(A)\in\mathcal B$。我们未来会仔细讨论“可测性”的问题，现在大家不用太在意这个条件。对于可测的 $f$，$f(X)\colon\omega\mapsto f(X(\omega))$ 也是一个随机变量。

期望的线性性

下面一个结论，被称为期望的线性性（linearity of expectation），是非常有用的性质。我们在未来真的用概率论解决一些问题的时候，会发现其妙用无穷。我们现在，先证明它。

我们可以使用数学归纳法，把上述结论推广到任意 $n$ 个随机变量。即如果定义在同一个概率空间上的随机变量 $X_1,\ldots,X_n$ 均是可积的，那么 $\sum_{i=1}^na_iX_i$ 也是可积的，并且

$$\mathbb E\left[\sum_{i=1}^na_iX_i\right] =\sum_{i=1}^na_i\mathbb E[X_i].$$

回到二项式分布

我们前面已经通过期望的定义，计算了对于 $Y\sim\operatorname{Bin}(n,p)$，其期望 $\mathbb E[Y]=np$。前面的定义实际上只用到了此分布概率质量函数的性质。事实上，如果回到一开始引入二项式分布的随机试验，即统计“扔 $n$ 个硬币，正面向上的个数”，我们可以使用期望的线性性更加方便地计算 $Y$ 的期望。回顾我们的样本空间是 $\Omega=\{H,T\}^n$。对于每一个 $s\in\Omega$，记 $h(s)$ 为 $s$ 中 $H$ 的个数，我们有

$$Y(s)=h(s).$$

我们现在定义 $n$ 个事件 $A_1,\ldots,A_n$，其中 $A_i$ 表示“$s$ 的第 $i$ 位是 $H$”，并令

$$\forall i\in[n],\qquad Y_i=\mathbf 1_{A_i}.$$

换句话说，$Y_i(s)=1$ 当且仅当 $s$ 的第 $i$ 位是正面。那么显然 $Y=\sum_{i=1}^nY_i$（我再强调一下，我们写这个等式的意思是，对于任何 $s\in\Omega$，$Y(s)=\sum_{i=1}^nY_i(s)$ 成立）。由于 $Y_i$ 表示的就是第 $i$ 个硬币的结果，满足 $Y_i\sim\operatorname{Ber}(p)$。容易计算 $\mathbb E[Y_i]=p$。

因此，由期望的线性性，

$$\mathbb E[Y] =\mathbb E\left[\sum_{i=1}^nY_i\right] =\sum_{i=1}^n\mathbb E[Y_i] =np.$$

那么，期望的线性性不能不加条件地推广到无穷多个随机变量，即 $\mathbb E[\sum_{i=1}^{\infty}X_i]=\sum_{i=1}^{\infty}\mathbb E[X_i]$ 不一定成立（你能想到反例吗？）。对于无穷多个随机变量，求和和期望什么时候能交换，是我们未来会重点研究的一个问题。

2.3 给定事件的条件期望

在第一章，我们定义过给定事件 $A$ 后的条件概率。现在，若我们关心的不是另一个事件发生与否，而是一个随机变量的平均值，应该怎样根据已经知道的事件更新平均？

如果样本空间有限，我们也可以直接用条件概率求加权平均：

$$\mathbb E[X\mid A] =\sum_{\omega\in A}X(\omega)\mathbb P(\{\omega\}\mid A).$$

特别地，$\mathbb E[X\mid\Omega]=\mathbb E[X]$。如果 $X=\mathbf1_B$ 是事件 $B$ 的指示变量，那么 $\mathbb E[\mathbf1_B\mid A]=\mathbb P(B\mid A)$。因此，这个定义也把我们熟悉的条件概率包含了进去。

全期望公式

我们以前使用过全概率公式：把同一个事件按照若干互不相交的情况分类，然后把各类的概率加起来。期望也可以用完全相同的集合拆分来计算。

最大割的随机近似算法与去随机化

我们之前研究过图的最小割。现在看它的姊妹问题：给定无向图 $G=(V,E)$，把顶点分成两侧 $S$ 与 $V\setminus S$，希望横跨两侧的边尽量多。记最优割的大小为 $\mathrm{OPT}$。

一个自然的问题就是，我们每一步去选更好的硬币的操作真的是高效可计算的吗？大家可以想想，这本质上是另一个计算在某个实例上的条件期望问题。利用期望的线性性，我们可以在 $O(|V|+|E|)$ 的时间内内完成。

这种“每次固定一个随机选择，同时保持条件期望不下降”的办法，叫做条件期望方法（method of conditional expectation）。

2.4 方差与基本尾界

方差：平均值之外的波动

期望是随机变量的“数字特征”之一，用来描述它的平均值。但有的时候在应用中，期望所反映出来的关于随机变量的信息是不够的。比如说，假设 $X$ 是我们班上随机取样一位同学的身高。我们知道 $\mathbb E[X]$，即平均身高是170，这有可能是大家身高都在170附近，也有可能有一部分同学身高极高，有一部分极低，导致平均是170。方差便是一个用来描述随机变量偏离其平均值的数字特征。

这个时候，敏感的严格性警察可能要出警了：只知道 $X$ 可积，为什么就能计算上式？确实不能。因此，我们在定义里明确要求 $\mathbb E[X^2]<\infty$。对于有有限均值但 $\mathbb E[X^2]=+\infty$ 的变量，也可以说它的方差为 $+\infty$；后面要用 Chebyshev 得到非平凡的界，则需要有限方差。

从定义便可以看出，方差是 $(X-\mathbb E[X])^2$ 的平均值。将平方展开，使用期望的线性性，得到

$$\operatorname{Var}(X) =\mathbb E[X^2]-\bigl(\mathbb E[X]\bigr)^2.$$

即“平方的期望减去期望的平方”。这里的 $\mathbb E[X^2]$ 叫做 $X$ 的二阶矩；对于自然数 $k\ge1$，$\mathbb E[X^k]$（若存在）称为 $k$ 阶矩。直接代入定义也可验证，对常数 $a,b$，

$$\operatorname{Var}(aX+b)=a^2\operatorname{Var}(X).$$

不过，方差对和一般没有这样的线性公式。比如令 $X$ 是公平硬币出现正面的指示量，并令 $Y=X$。那么

$$\operatorname{Var}(X+Y) =\operatorname{Var}(2X) =4\operatorname{Var}(X) =1, \qquad \operatorname{Var}(X)+\operatorname{Var}(Y)=\frac12.$$

这里 $X$ 和 $Y$ 完全相同，当然不独立。若随机变量两两独立，方差对有限和就可以拆开。

证明. 记 $\mu_i=\mathbb E[X_i]$。把和减去它的期望后平方展开，得到

$$\operatorname{Var}\!\left(\sum_{i=1}^n X_i\right) =\sum_{i=1}^n\mathbb E[(X_i-\mu_i)^2] +2\sum_{1\le i<j\le n}\mathbb E[(X_i-\mu_i)(X_j-\mu_j)].$$

由 $2|uv|\le u^2+v^2$，每个交叉项都可积。对 $i\ne j$，两两独立意味着 $X_i,X_j$ 的联合 pmf 是各自 pmf 的乘积。因此

$$\begin{aligned} \mathbb E[(X_i-\mu_i)(X_j-\mu_j)] &=\sum_{x,y}(x-\mu_i)(y-\mu_j)\mathbb P(X_i=x,X_j=y)\\ &=\left(\sum_x(x-\mu_i)\mathbb P(X_i=x)\right) \left(\sum_y(y-\mu_j)\mathbb P(X_j=y)\right)\\ &=0. \end{aligned}$$

每个交叉项都等于零，剩下的正是各项方差之和。$\square$

Markov 不等式

我们这儿提一个关于期望的不等式，它想描述如下一件显然的事情：如果一个非负的随机变量期望一定，那么它的取值特别大的概率就不能很大（否则期望就炸了）。用数学的语言说就是：

不等式的证明很简单，仅仅就是把我们觉得它对的原因严格地说一下。我这儿写一下，对于初学者来说，值得好好看一下我们这儿使用的所谓“截断”的技巧，它在未来很多证明里要用到。对于一个固定的 $a$，我们用事件 $\{X\ge a\}$ 来截断随机变量 $X$，得到

$$X =X\mathbf1_{\{X<a\}} +X\mathbf1_{\{X\ge a\}}.$$

对于初学者，我认为值得好好读一下这个等式。首先，这个等式左右两边均是随机变量，也就是说它们均是函数。因此，它的实际意思是，对于每一个样本点 $\omega\in\Omega$，左右两边在 $\omega$ 上的取值均相同。其次，两个指示变量对应互补事件，恰好有一个取值为1。

我们对左右两边取期望并做放缩：第一项非负，而 $X\mathbf1_{\{X\ge a\}}\ge a\mathbf1_{\{X\ge a\}}$ 逐点成立，所以

$$\mathbb E[X] \ge\mathbb E[X\mathbf1_{\{X\ge a\}}] \ge a\mathbb P(X\ge a).$$

从证明可以看出 Markov 不等式能够取到等号。这个不等式在概率论和计算机科学中很有用：它把一个平均值转成随机变量取值特别大的概率上界，也就是一个尾界。

Chebyshev 不等式

Chebyshev 不等式定量描述了引入方差的动机。我们想知道 $X$ 偏离 $\mathbb E[X]$ 很远的概率，而方差正是平方偏差的平均值。

证明就是对非负随机变量 $(X-\mathbb E[X])^2$ 使用 Markov：

$$\begin{aligned} \mathbb P\bigl(|X-\mathbb E[X]|\ge a\bigr) &=\mathbb P\bigl((X-\mathbb E[X])^2\ge a^2\bigr)\\ &\le\frac{\mathbb E[(X-\mathbb E[X])^2]}{a^2} =\frac{\operatorname{Var}(X)}{a^2}. \end{aligned}$$

2.5 奖券收集问题的计算

我们上节课介绍了期望和方差的定义。我们今天使用它们来研究奖券收集（Coupon Collector）问题。我们首先从几何分布的一些基本性质开始。

几何分布的期望与方差

2.1节已经定义了几何分布，并约定 $G\sim\operatorname{Geom}(p)$ 为第一次成功时已经投掷的次数。

记 $q=1-p$。直接从 pmf 计算。由等比级数及其导数，

$$\begin{aligned} \mathbb E[G] &=\sum_{k=1}^{\infty}kq^{k-1}p =\frac{p}{(1-q)^2} =\frac1p,\\ \mathbb E[G^2] &=\sum_{k=1}^{\infty}k^2q^{k-1}p =\frac{p(1+q)}{(1-q)^3} =\frac{2-p}{p^2}. \end{aligned}$$

因此

$$\operatorname{Var}(G) =\mathbb E[G^2]-\bigl(\mathbb E[G]\bigr)^2 =\frac{1-p}{p^2}.$$

奖券收集问题

奖券收集问题是概率分析里面的一个重要概率模型。我们使用今天介绍的技巧和不等式来研究这个模型。

考虑玩一个抽卡手游。现在总共有 $N$ 种不同类型的卡，每一抽可以均匀地得到其中一种。现在想问平均要抽多少次，可以集齐一套，即 $N$ 种卡每种至少一张。

我们考虑这个问题的概率空间建模。一个方便的样本空间是 $\Omega=[N]^{\mathbb N}$，也就是所有无限长的抽卡序列。对应的可数乘积概率空间将在第三章严格构造；现在先接受每次独立、均匀抽取的模型。定义随机变量 $T$ 为第一次集齐一套的抽卡次数。我们关心的是 $\mathbb E[T]$。由于 $T$ 取离散值，它的期望按定义是

$$\mathbb E[T]=\sum_{k=1}^{\infty}k\,\mathbb P(T=k).$$

直接通过 $\mathbb E[T]$ 的定义进行计算显然很困难。我们又一次使用期望的线性性技巧。下面这个构造第一次见会觉得很巧妙，但它也是一种非常常用的构造，请大家务必理解。对于 $i=1,2,\ldots,N$，定义 $W_i$ 表示“已经有了 $i-1$ 种不同类型的卡之后，要再获得一种新类型的卡还需要抽多少次”。那么，

• $T=\sum_{i=1}^{N}W_i$；
• $W_1,W_2,\ldots,W_N$ 相互独立；
• $W_i\sim\operatorname{Geom}\!\left(\frac{N-i+1}{N}\right)$。

于是，我们便可以使用期望的线性性和几何分布的性质得到

$$\begin{aligned} \mathbb E[T] &=\sum_{i=1}^{N}\mathbb E[W_i] =\sum_{i=1}^{N}\frac{N}{N-i+1}\\ &=N\sum_{j=1}^{N}\frac1j =NH_N, \end{aligned}$$

其中 $H_N=\sum_{j=1}^{N}1/j$ 是调和数。由于 $H_N=\log N+\gamma+o(1)$，平均完成时间约为 $N\log N$。当 $N=1000$ 时，$NH_N\approx7485.47$ 次。

以上的计算告诉我们平均多久能集齐一套。但实际上，因为存在欧皇和非酋，我们往往还想知道：抽多少次，才能以至少 $99\%$ 的概率收集齐？下面我们用三种方法估计一个足够的抽取次数。注意，它们给出的都是充分预算，也就是实际情况的上界。设 $m$ 是已经抽取的次数，失败事件为 $\{T>m\}$，也就是第 $m$ 次之后至少缺一种卡。我们要让这个事件的概率不超过 $\delta$。

Markov 不等式

首先尝试用 Markov 不等式来估算。回忆 Markov 不等式表达的是：一个随机变量以很大的概率取到特别大的值是不可能的。这正好满足我们的要求。使用 Markov 不等式，

$$\mathbb P(T>m) =\mathbb P(T\ge m+1) \le\frac{\mathbb E[T]}{m+1} =\frac{NH_N}{m+1}.$$

如果希望上面的概率不超过 $\delta$，取 $m\ge\lceil NH_N/\delta\rceil$ 即可。对于 $N=1000$、$\delta=0.01$，这个充分预算为 748548 次。

Chebyshev 不等式

当然抽卡过程没有这么糟。上面的估计看起来很差，原因在于 Markov 不等式太松，没有用到随机变量的其他信息。我们这儿用上方差试试。由 Chebyshev 不等式，

$$\mathbb P\bigl(|T-\mathbb E[T]|\ge a\bigr) \le\frac{\operatorname{Var}(T)}{a^2}.$$

如果希望上式不超过 $\delta$，取 $a=\sqrt{\operatorname{Var}(T)/\delta}$ 即可；当 $\delta=0.01$ 时，这就是 $a=10\sqrt{\operatorname{Var}(T)}$。因此，我们来计算 $\operatorname{Var}(T)$。因为 $T=\sum_{i=1}^{N}W_i$，且这些 $W_i$ 相互独立，我们可以用方差的可加性得到