第十一讲：概率法 II：二阶矩方法

二阶矩方法

随机变量性质及切比雪夫不等式

我们首先回顾一些常用的随机变量性质以及概率不等式。

给定两个独立的随机变量 $X,Y$，它们乘积的期望等于两个随机变量期望的乘积。

Proposition 1 任给两个独立的随机变量$X,Y$, $${\mathbf{E}}_{}[X\cdot Y]={\mathbf{E}}_{}\left[X\right]\cdot {\mathbf{E}}_{}\left[Y\right].$$

Proof. $$\begin{array}{rl}\mathrm{R}.\mathrm{H}.\mathrm{S}.& =(\sum _{x}x\cdot {\mathbf{Pr}}_{}[X=x])\cdot (\sum _{y}y\cdot {\mathbf{Pr}}_{}[Y=y])\\ & =\sum _{x,y}x\cdot y\cdot {\mathbf{Pr}}_{}[X=x]\cdot {\mathbf{Pr}}_{}[Y=y]\\ & =\mathrm{L}.\mathrm{H}.\mathrm{S}.\end{array}$$

对于任意随机变量 $X$，其二阶矩定义为 ${\mathbf{E}}_{}\left[X^2\right]$。它的方差定义为二阶矩与期望的平方的差。 [ =-^2. ] 直观上，随机变量的方差反映了它与期望的偏离程度。我们将在接下来的切比雪夫不等式里定量的刻画这个关系。对于独立的随机变量，和的方差等于方差的和。

Proposition 2 任给两个独立的随机变量$X,Y$, $${\mathbf{Var}}_{}[X+Y]={\mathbf{Var}}_{}\left[X\right]+{\mathbf{Var}}_{}\left[Y\right].$$

给定一列在整数上取值的随机变量${\left\{X_n\right\}}_{n\in \mathbb{N}}$，我们在之前使用概率法的例子中已经看到，如果我们想证明 $${\mathbf{Pr}}_{}[X_n=0]\stackrel{n\to \mathrm{\infty }}{⟶}1,$$ 只需要使用马尔可夫不等式${\mathbf{Pr}}_{}[X_n>0]={\mathbf{Pr}}_{}[X_n\ge 1]\le {\mathbf{E}}_{}\left[X_n\right]$ 并说明 ${\mathbf{E}}_{}\left[X_n\right]\stackrel{n\to \mathrm{\infty }}{⟶}0$ 就可以了。反过来，我们可以通过证明 ${\mathbf{E}}_{}\left[X_n\right]\to \mathrm{\infty }$ 来说明 ${\mathbf{Pr}}_{}[X_n>0]\to 1$ 吗？答案是不对的。我们可以构造一下反例： [ X_n= $$\{\begin{array}{ll}0,& \text{w.p. }1-\frac{1}{n};\\ n^2,& \text{w.p. }\frac{1}{n}.\end{array}$$

] 在这个例子中, ${\mathbf{E}}_{}\left[X_n\right]=n\to \mathrm{\infty }$ 但是 ${\mathbf{Pr}}_{}[X_n>0]=\frac{1}{n}\to 0$。这个反例出现的原因是随机变量取值高概率是和其期望偏离很远的。因此，如果我们希望说明 $X_n>0$ 高概率成立，必须考察随机变量与其期望的集中程度。二阶矩方法，也就是切比雪夫不等式给出了这样一种刻画。

Theorem 1 (切比雪夫不等式（Chebyshev’s Inequality）) $$\mathrm{\forall }a>0,{\mathbf{Pr}}_{}[|X-{\mathbf{E}}_{}\left[X\right]|\ge a]\le \frac{{\mathbf{Var}}_{}\left[X\right]}{a^2}.$$

Proof. 我们可以使用马尔可夫不等式证明: $${\mathbf{Pr}}_{}[|X-{\mathbf{E}}_{}\left[X\right]|\ge a]={\mathbf{Pr}}_{}[{(X-{\mathbf{E}}_{}\left[X\right])}^2\ge a^2]\le \frac{{\mathbf{E}}_{}\left[{(X-{\mathbf{E}}_{}\left[X\right])}^2\right]}{a^2}=\frac{{\mathbf{Var}}_{}\left[X\right]}{a^2}.$$

回到我们之前说的问题，一旦有了切比雪夫不等式，我们就能说明 $${\mathbf{Pr}}_{}[X_n=0]\le {\mathbf{Pr}}_{}[|X_n-{\mathbf{E}}_{}\left[X_n\right]|\ge {\mathbf{E}}_{}\left[X_n\right]]\le \frac{{\mathbf{Var}}_{}\left[X_n\right]}{{\left({\mathbf{E}}_{}\left[X_n\right]\right)}^2}.$$ 因此，如果我们想要说明 ${\mathbf{Pr}}_{}[X_n=0]\to 0$，只需要证明 ${\mathbf{E}}_{}\left[X_n^2\right]=(1+o(1)){\left({\mathbf{E}}_{}\left[X_n\right]\right)}^2$。

随机图上的相变

图的性质 $\mathcal{P}:G\mapsto 0\text{ or }1$ 指的是从图到 $0$ 或者 $1$ 的一个映射。

考虑 Erdős–Rényi 随机图 $G(n,p(n))$，其中 $p(n):\mathbb{N}\to [0,1]$ 是一个关于顶点个数的函数。我们称一个图性质 $\mathcal{P}$ 具有相变性，如果 $\mathrm{\exists }r:\mathbb{N}\to [0,1]$ 使得

• 如果 $p(n)\ll r(n)$，${\mathbf{Pr}}_{G\sim G(n,p(n))}\left[G\text{ satisfies }P\right]\stackrel{n\to \mathrm{\infty }}{⟶}0$；
• 如果 $p(n)\gg r(n)$，${\mathbf{Pr}}_{G\sim G(n,p(n))}\left[G\text{ satisfies }P\right]\stackrel{n\to \mathrm{\infty }}{⟶}1$。

这里 $r$ 被称之为 $P$ 的阈值函数。下面我们将用二阶矩方法证明性质“一个图包含一个$K_4$”具有相变性，并且其阈值函数是 $n^{-\frac{2}{3}}$。

Theorem 2 图性质“$G$包含一个 $K_4$”具有阈值函数 $n^{-\frac{2}{3}}$。

令随机变量 $X$ 表示 $G$ 中 $K_4$ 的数量。当 $p(n)\ll n^{-\frac{2}{3}}$时，根据马尔可夫不等式，我们有 $${\mathbf{Pr}}_{G\sim G(n,p(n))}\left[G\text{ contains a }{K}_4\right]={\mathbf{Pr}}_{}[X\ge 1]\le {\mathbf{E}}_{}\left[X\right].$$ 对于任意的图中的 $4$ 个顶点构成的集合 $S\subseteq (\genfrac{}{}{0ex}{}{[n]}{4})$，令 $X_S=\mathbf{1}[G[S]\text{ is a clique}]$。那么 $${\mathbf{E}}_{}\left[X\right]={\mathbf{E}}_{}\left[\sum _{S\subseteq (\genfrac{}{}{0ex}{}{[n]}{4})}{X}_s\right]=(\genfrac{}{}{0ex}{}{n}{4})\cdot p^6\le n^4{p}^6=o(1).$$

另一方面，当$p(n)\gg n^{-\frac{2}{3}}$，使用切比雪夫不等式 $${\mathbf{Pr}}_{}[X=0]\le {\mathbf{Pr}}_{}[|X-{\mathbf{E}}_{}\left[X\right]|\ge {\mathbf{E}}_{}\left[X\right]]\le \frac{{\mathbf{Var}}_{}\left[X\right]}{{\left({\mathbf{E}}_{}\left[X\right]\right)}^2}=\frac{{\mathbf{E}}_{}\left[X^2\right]-{\left({\mathbf{E}}_{}\left[X\right]\right)}^2}{{\left({\mathbf{E}}_{}\left[X\right]\right)}^2}.$$

Figure 1: $|S\cap T|=2$

Figure 2: $|S\cap T|=3$

注意到 $$\begin{array}{rl}{\mathbf{E}}_{}\left[X^2\right]-{\left({\mathbf{E}}_{}\left[X\right]\right)}^2& ={\mathbf{E}}_{}\left[{\left(\sum _{S\subseteq (\genfrac{}{}{0ex}{}{[n]}{4})}{X}_s\right)}^2\right]-{\left({\mathbf{E}}_{}\left[\sum _{S\subseteq (\genfrac{}{}{0ex}{}{[n]}{4})}{X}_s\right]\right)}^2\\ & =2\sum _{S\ne T}{\mathbf{E}}_{}\left[X_S{X}_T\right]+\sum _S{\mathbf{E}}_{}\left[X_S^2\right]-2\sum _{S\ne T}{\mathbf{E}}_{}\left[X_S\right]{\mathbf{E}}_{}\left[X_T\right]-\sum _S{\left({\mathbf{E}}_{}\left[X_s\right]\right)}^2\\ & =2\sum _{|S\cap T|=2}({\mathbf{E}}_{}\left[X_S{X}_T\right]-{\mathbf{E}}_{}\left[X_S\right]{\mathbf{E}}_{}\left[X_T\right])+2\sum _{S\cap T=3}({\mathbf{E}}_{}\left[X_S{X}_T\right]-{\mathbf{E}}_{}\left[X_S\right]{\mathbf{E}}_{}\left[X_T\right])\\ & +\sum _S({\mathbf{E}}_{}\left[X_S^2\right]-{\left({\mathbf{E}}_{}\left[X_S\right]\right)}^2)\\ & \le 2\sum _{|S\cap T|=2}{\mathbf{E}}_{}\left[X_S{X}_T\right]+2\sum _{S\cap T=3}{\mathbf{E}}_{}\left[X_S{X}_T\right]+\sum _S{\mathbf{E}}_{}\left[X_S^2\right].\end{array}$$ 正如 Figure 1 所示，当 $|S\cap T|=2$ 时， $X_S=X_T=1$ 当且仅当这 $11$ 条边都被包含。因此 $${\mathbf{E}}_{}\left[X_S{X}_T\right]={\mathbf{Pr}}_{}[X_S=1\wedge X_T=1]=p^{11}.$$ 类似地，当 $|S\cap T|=3$（如 Figure 2 所示）， $${\mathbf{E}}_{}\left[X_S{X}_T\right]={\mathbf{Pr}}_{}[X_S=1\wedge X_T=1]=p^9.$$ 因此， $$\begin{array}{rl}{\mathbf{E}}_{}\left[X^2\right]-{\left({\mathbf{E}}_{}\left[X\right]\right)}^2& \le 2\sum _{|S\cap T|=2}{\mathbf{E}}_{}\left[X_S{X}_T\right]+2\sum _{S\cap T=3}{\mathbf{E}}_{}\left[X_S{X}_T\right]+\sum _S{\mathbf{E}}_{}\left[X_S^2\right]\\ & =2(\genfrac{}{}{0ex}{}{n}{2})(\genfrac{}{}{0ex}{}{n-2}{2})(\genfrac{}{}{0ex}{}{n-4}{2})p^{11}+2(\genfrac{}{}{0ex}{}{n}{3})(\genfrac{}{}{0ex}{}{n-3}{1})(\genfrac{}{}{0ex}{}{n-4}{1})p^9\\ & +(\genfrac{}{}{0ex}{}{n}{4})p^6\\ & \le n^6{p}^{11}+n^5{p}^9+n^4{p}^6=o({\left({\mathbf{E}}_{}\left[X\right]\right)}^2).\end{array}$$ 这说明了当 $p(n)\gg n^{-\frac{2}{3}}$ 时，${\mathbf{Pr}}_{}\left[G\text{ contains a }{K}_4\right]\to 1$。

Weierstrass 近似定理

我们在数学分析中曾经学过，在一个闭区间上的任意一个连续的函数都可以被一个多项式函数任意地近似。我们现在使用二阶矩方法来证明这个定理。

Theorem 3 (Weierstrass近似定理) 给定一个连续函数 $f:[0,1]\to [-1,1]$。对于任意的 $\epsilon >0$ 都存在一个多项式 $p$ 满足 $\mathrm{\forall }x\in [0,1]$, $|p(x)-f(x)|\le \epsilon$。

Figure 3: 连续函数的划分

我们可以用以下的观点来看待这个问题：如 Figure 3 所示，我们从函数中选定 $n+1$ 个点，第 $i$ 个点的取值为 $f\left(\frac{i}{n}\right)$。然后我们定义 $$P_n(x)=\sum _{i=0}^n{E}_i(x)\cdot f\left(\frac{i}{n}\right).$$ 我们希望 $E_i(x)$ 满足下列条件：

• 对于任意的 $x$，$\sum _i{E}_i(x)=1$。也就是说，系数是一个依赖于 $x$ 的概率分布；
• 对于任意的 $i,x$，$E_i(x)$ 是一个多项式；
• 对于任意的 $x$，系数比较集中在离 $x$ 最近的点 $\frac{i^{\ast }}{n}$ 上（$i^{\ast }={\arg min}_i|x-\frac{i}{n}|$）。

我们可以定义出某些随机变量来表达 $E_i(x)$，也即令 $E_i(x)={\mathbf{Pr}}_{}[Y=i]$。注意到我们希望当 $x$ 接近于 $\frac{i^{\ast }}{n}$ 的时候 $E_i(x)$ 很大，并且对于其他离 $x$ 比较远的点我们希望他们的系数之和比较小。考虑随机变量 $Y\sim \mathtt{Bin}(n,x)$。我们有 ${\mathbf{E}}_{}\left[Y\right]=nx$ 并且 ${\mathbf{Var}}_{}\left[Y\right]=x(1-x)n\le \frac{n}{4}$。根据切比雪夫不等式， $${\mathbf{Pr}}_{}[|\frac{Y}{n}-x|\ge n^{-\frac{1}{3}}]={\mathbf{Pr}}_{}[|Y-nx|\ge n^{\frac{2}{3}}]\le \frac{n^{-\frac{1}{3}}}{4}.$$ 令 $E_i(x)={\mathbf{Pr}}_{}[Y=i]=(\genfrac{}{}{0ex}{}{n}{i})x^i(1-x{)}^{n-i}$。对于任意 $x\in [0,1]$， $$\begin{array}{rl}|P_n(x)-f(x)|& \le \sum _{i=1}^n{E}_i(x)|f\left(\frac{i}{n}\right)-f(x)|\\ & =\underset{A}{\underbrace{\sum _{i:|i-nx|\le n^{\frac{2}{3}}}{E}_i(x)|f\left(\frac{i}{n}\right)-f(x)|}}+\underset{B}{\underbrace{\sum _{i:|i-nx|>n^{\frac{2}{3}}}{E}_i(x)|f\left(\frac{i}{n}\right)-f(x)|}}.\end{array}$$ 由于函数 $f$ 是连续的，那么存在 $\delta$ 使得 $\mathrm{\forall }|x-y|<\delta$，$|f(x)-f(y)|<\frac{\epsilon }{2}$。当 $n^{-\frac{1}{3}}<\delta$，我们有 $A\le \frac{\epsilon }{2}$。同时，当 $n^{-\frac{1}{3}}<\epsilon$时，$B\le 2\sum _{i:|i-nx|>n^{\frac{2}{3}}}{E}_i(x)\le \frac{n^{-\frac{1}{3}}}{2}\le \frac{\epsilon }{2}$。因此，选定 $n\ge max\{\frac{1}{{\epsilon }^3},\frac{1}{{\delta }^3}\}$，对于所有$x\in [0,1]$，我们有$|P_n(x)-f(x)|\le \epsilon$。