概率论2026 Fall

第四章

多变量概率

在第三章里,我们在一般概率空间 (Ω,F,P)(\Omega,\mathcal F,\mathbb P) 上建立了单个随机变量的分布函数、勒贝格积分、极限交换定理与概率密度函数。然而,概率论真正展现威力的地方,从来不只是单独考察一个随机变量,而是同时考察定义在同一个概率空间上的多个随机变量——它们怎样共同演化?彼此独立还是相互牵制?相加、相乘或者做非线性变换之后分布会变成什么样?

事实上,我们在前两章处理离散模型时,就已经初步使用过多变量概率的语言了:比如第二章在证明两两独立离散随机变量的方差可加性(命题 2.11)、计算赠券收集的空箱数二阶矩以及随机图三角形个数时,都用到了离散随机变量的联合质量函数与独立分解;第三章则在 3.2 节构造了可数乘积概率空间(命题 3.10),并在 3.4 节预告了一般独立随机变量乘积的期望分解 E[XY]=E[X]E[Y]\mathbb E[XY]=\mathbb E[X]\mathbb E[Y]。到了连续与一般测度的世界里,哪怕想把两枚独立均匀的随机数 (X,Y)(X,Y) 拼成正方形 [0,1]2[0,1]^2 上的一个随机点,我们也得先弄清楚怎样在乘积空间上定义“面积”测度,以及什么时候可以把二重积分拆成两次一维积分来算。

因此,本章按照“先搭地基、再建高楼、每个工具紧配经典算例”的顺序展开:我们先在 4.1 节构造乘积测度空间并证明交换积分次序的富比尼–托内利(Fubini–Tonelli)定理,顺手用它一行证出计算非负随机变量期望的尾积分公式;随后在 4.2 节引入联合分布与一般随机变量的独立性,补齐第三章预告的乘积期望公式,并用圆环旋转对称性与尾积分公式解决 Feller 书中的线段与圆弧经典问题;接着在 4.3 与 4.4 节建立联合密度与顺序统计量、条件密度与连续全概率公式;在 4.5 与 4.6 节围绕“随机变量的变换与合成”,展开多元积分的雅可比换元公式、极坐标高斯积分与球面采样,以及独立随机变量之和的卷积公式与随机分裂问题;最后在 4.7 与 4.8 节(选读)进一步探讨独立均匀分布之和与圆环随机弧覆盖概率,以及非双射、非光滑变换与降维映射下的 Federer 余面积公式。

4.1 乘积测度空间与富比尼–托内利定理

在上一章讨论单调收敛定理(MCT)时,我们已经证明了:对于一列非负随机变量 {Xi}i≥1\{X_i\}_{i\ge1},无穷级数的期望一定等于期望的无穷级数,即 E[∑i=1∞Xi]=∑i=1∞E[Xi]\mathbb E\bigl[\sum_{i=1}^\infty X_i\bigr]=\sum_{i=1}^\infty\mathbb E[X_i]。但如果不加非负或绝对可积的条件,仅仅假设每一个 XiX_i 都可积,等式

E[∑i=1∞Xi]=∑i=1∞E[Xi] \mathbb E\left[\sum_{i=1}^\infty X_i\right] = \sum_{i=1}^\infty\mathbb E[X_i]

还一定成立吗?答案是不对的!我们在第三章 3.5 节见过的翻倍赌博(Martingale)其实就已经给出了反例:将第 ii 轮后的累计净收益记为 YiY_i(其中 Y0:=0Y_0:=0),设第 ii 轮净收益增量为 Xi:=Yi−Yi−1X_i:=Y_i-Y_{i-1},那么每一项都有 E[Xi]=0\mathbb E[X_i]=0,故右边级数 ∑i=1∞E[Xi]=0\sum_{i=1}^\infty\mathbb E[X_i]=0;但无穷级数部分和 ∑i=1nXi=Yn\sum_{i=1}^n X_i=Y_n 以概率 11 收敛到 ∑i=1∞Xi=1\sum_{i=1}^\infty X_i=1,所以左边 E[∑i=1∞Xi]=1≠0\mathbb E\bigl[\sum_{i=1}^\infty X_i\bigr]=1\ne 0。

我们知道,无论是对样本点取期望 E[⋅]\mathbb E[\cdot],还是对指标 i∈Ni\in\mathbb N 求无穷级数 ∑i=1∞\sum_{i=1}^\infty,本质上都可以看成在某个测度下的勒贝格积分(级数求和不过是在计数测度下的积分)。因此,上面这个“求和与期望能不能交换”的问题,归根结底是在问一个更普遍的核心问题:在什么条件下,两个不同测度下的积分顺序是可以交换的?也就是说,什么时候有

∫X(∫Yf(x,y) ν(dy))μ(dx)=∫Y(∫Xf(x,y) μ(dx))ν(dy) \int_X\left(\int_Y f(x,y)\,\nu(\mathrm dy)\right)\mu(\mathrm dx) = \int_Y\left(\int_X f(x,y)\,\mu(\mathrm dx)\right)\nu(\mathrm dy)

成立?为了严格表述并回答这个问题,我们首先来定义乘积测度空间。

乘积可测空间与截面

假设我们手头有两个概率空间(或者更一般的测度空间)(X,X,μ)(X,\mathcal X,\mu) 和 (Y,Y,ν)(Y,\mathcal Y,\nu)。我们可以把它们想象成两个独立的试验:

我们现在想要构造一个新的复合概率空间,称为乘积概率空间,它的样本集是笛卡尔积 X×YX\times Y,用来表示独立地做这两次试验。在我们上面的两个例子里,这分别对应了:

于是,一个最自然的问题就是:在这个乘积空间 X×YX\times Y 里,事件族(σ\sigma-代数)和测度应该怎样定义?

离散概率空间的情况比较平凡,我们重点看上面第二个连续的例子。此时 X=B([0,1])\mathcal X=\mathcal B([0,1]),Y=B([0,2])\mathcal Y=\mathcal B([0,2])。如果我们直接把两边可测集做笛卡尔积,得到的集合族

X×Y:={A×B  ∣  A∈X,  B∈Y} \mathcal X\times\mathcal Y := \bigl\{A\times B \;\big|\; A\in\mathcal X,\; B\in\mathcal Y\bigr\}

是 [0,1]×[0,2][0,1]\times[0,2] 上所有可测矩形(measurable rectangles)的集合。很容易看出,X×Y\mathcal X\times\mathcal Y 本身不是一个 σ\sigma-代数——甚至连两个不相交矩形的并集(比如一个“L”形区域)通常都不再是一个矩形!这和我们在第三章 3.1 节遇到的情形一模一样:在实数轴上,单个左开右闭区间不构成代数,但“有限个不交区间的并”构成了代数 B0\mathcal B_0,进而生成了 Borel σ\sigma-代数。同样地,我们取乘积空间的事件族为包含所有可测矩形的最小 σ\sigma-代数 σ(X×Y)\sigma(\mathcal X\times\mathcal Y),并把它记作 X⊗Y\mathcal X\otimes\mathcal Y。

定义 4.1 乘积可测空间与乘积 σ\sigma-代数

设 (X,X)(X,\mathcal X) 和 (Y,Y)(Y,\mathcal Y) 是两个可测空间。定义它们生成的乘积 σ\sigma-代数为

X⊗Y:=σ(X×Y)=σ({A×B  ∣  A∈X,  B∈Y}), \mathcal X\otimes\mathcal Y := \sigma(\mathcal X\times\mathcal Y) = \sigma\bigl(\bigl\{A\times B \;\big|\; A\in\mathcal X,\; B\in\mathcal Y\bigr\}\bigr),

并称 (X×Y,X⊗Y)(X\times Y,\mathcal X\otimes\mathcal Y) 为 (X,X)(X,\mathcal X) 与 (Y,Y)(Y,\mathcal Y) 的乘积可测空间。

和第三章的区间代数 B0\mathcal B_0 完全平行:若把所有形如 ⨆i=1n(Ai×Bi)\bigsqcup_{i=1}^n(A_i\times B_i)(有限个互不相交的可测矩形之并)的集合收集起来记为 A0\mathcal A_0,则容易验证 A0\mathcal A_0 是 X×YX\times Y 上的一个代数,且 σ(A0)=X⊗Y\sigma(\mathcal A_0)=\mathcal X\otimes\mathcal Y。因为:两个矩形的交 (A1×B1)∩(A2×B2)=(A1∩A2)×(B1∩B2)(A_1\times B_1)\cap(A_2\times B_2)=(A_1\cap A_2)\times(B_1\cap B_2) 仍是矩形,而矩形的补集 (A×B)c=(Ac×B)⊔(A×Bc)⊔(Ac×Bc)(A\times B)^c=(A^c\times B)\sqcup(A\times B^c)\sqcup(A^c\times B^c) 恰为三个不交矩形的并。

接下来我们要在乘积可测空间 (X×Y,X⊗Y)(X\times Y,\mathcal X\otimes\mathcal Y) 上定义测度。如果给你平面上的一个一般形状的区域 E∈X⊗YE\in\mathcal X\otimes\mathcal Y,怎样借助一维的测度 μ\mu 和 ν\nu 算出它的“面积”呢?微积分告诉我们,看起来有两种同样自然的切分方式:要么先沿垂直方向切出一根根竖条算长度、再沿水平方向积分;要么先沿水平方向切出一根根横条算长度、再沿垂直方向积分。

为了把这两种切分写严格,给定一个集合 E∈X⊗YE\in\mathcal X\otimes\mathcal Y,我们定义两个截面映射 E1:x∈X↦E1(x)⊆YE^1:x\in X\mapsto E^1(x)\subseteq Y 和 E2:y∈Y↦E2(y)⊆XE^2:y\in Y\mapsto E^2(y)\subseteq X,分别表示集合 EE 在固定横坐标 xx 和固定纵坐标 yy 时的截面(sections,如右图所示):

E1(x):={y∈Y  ∣  (x,y)∈E},E2(y):={x∈X  ∣  (x,y)∈E}. \begin{aligned} E^1(x) &:= \bigl\{y\in Y \;\big|\; (x,y)\in E\bigr\},\\ E^2(y) &:= \bigl\{x\in X \;\big|\; (x,y)\in E\bigr\}. \end{aligned}

X Y E x E¹(x) y E²(y)

固定横坐标 xx 竖切一刀,落在 EE 里的纵坐标集合就是 E1(x)⊆YE^1(x)\subseteq Y;固定纵坐标 yy 横切一刀,落在 EE 里的横坐标集合就是 E2(y)⊆XE^2(y)\subseteq X。

要想用 ν(E1(x))\nu(E^1(x)) 和 μ(E2(y))\mu(E^2(y)) 来算截面长度,我们首先必须确认一件事情:当 EE 是 X⊗Y\mathcal X\otimes\mathcal Y 中的可测集时,对于任意固定的 x∈Xx\in X 和 y∈Yy\in Y,切出来的截面 E1(x)E^1(x) 与 E2(y)E^2(y) 确实分别是 Y\mathcal Y 和 X\mathcal X 中的可测集!事实上,我们还可以把这件事连同二元可测函数 f(x,y)f(x,y) 的固定坐标截面一起证掉。

命题 4.2 截面与截面函数的可测性

设 (X×Y,X⊗Y)(X\times Y,\mathcal X\otimes\mathcal Y) 是乘积可测空间。

  1. 如果集合 E∈X⊗YE\in\mathcal X\otimes\mathcal Y,那么对于任意 x∈Xx\in X 和 y∈Yy\in Y,截面 E1(x)E^1(x) 是 Y\mathcal Y-可测的,截面 E2(y)E^2(y) 是 X\mathcal X-可测的。
  2. 更一般地,如果函数 f:X×Y→Rf:X\times Y\to\mathbb R 是 X⊗Y\mathcal X\otimes\mathcal Y-可测的,那么对于任意固定的 x∈Xx\in X,一元函数 f(x,⋅):y∈Y↦f(x,y)f(x,\cdot):y\in Y\mapsto f(x,y) 是 Y\mathcal Y-可测的;对于任意固定的 y∈Yy\in Y,一元函数 f(⋅,y):x∈X↦f(x,y)f(\cdot,y):x\in X\mapsto f(x,y) 是 X\mathcal X-可测的。

证明. 注意到集合 EE 的指示函数 1E(x,y)\mathbf 1_E(x,y) 固定 xx 后的截面函数正是 1E1(x)(y)\mathbf 1_{E^1(x)}(y),因此结论 1 只是结论 2 取 f=1Ef=\mathbf 1_E 时的特例,我们直接证明更一般的结论 2。

由对称性,只需证明对任意固定的 x∈Xx\in X,函数 f(x,⋅):Y→Rf(x,\cdot):Y\to\mathbb R 是 Y\mathcal Y-可测的。为此,固定 x∈Xx\in X,考虑嵌入映射

Tx:y∈Y⟼(x,y)∈X×Y. T_x:y\in Y\longmapsto (x,y)\in X\times Y.

显然,f(x,⋅)=f∘Txf(x,\cdot)=f\circ T_x 是 TxT_x 与 ff 的复合函数。因为两个可测映射的复合仍然是可测映射,我们只需要验证 TxT_x 是从 (Y,Y)(Y,\mathcal Y) 到 (X×Y,X⊗Y)(X\times Y,\mathcal X\otimes\mathcal Y) 的可测映射即可。

回忆第三章证明可测性判据时的基本原理:由于 X⊗Y=σ(X×Y)\mathcal X\otimes\mathcal Y=\sigma(\mathcal X\times\mathcal Y) 是由可测矩形族生成的,要验证 Tx−1(E)∈YT_x^{-1}(E)\in\mathcal Y 对所有 E∈X⊗YE\in\mathcal X\otimes\mathcal Y 成立,只需验证生成元——即每一个可测矩形 A×B∈X×YA\times B\in\mathcal X\times\mathcal Y——的原像属于 Y\mathcal Y 即可(因为 {E⊆X×Y∣Tx−1(E)∈Y}\{E\subseteq X\times Y\mid T_x^{-1}(E)\in\mathcal Y\} 本身是一个 σ\sigma-代数)。但直接按定义计算便有

Tx−1(A×B)={y∈Y  ∣  (x,y)∈A×B}={B,若 x∈A,∅,若 x∉A. T_x^{-1}(A\times B) = \bigl\{y\in Y \;\big|\; (x,y)\in A\times B\bigr\} = \begin{cases} B, & \text{若 } x\in A,\\ \emptyset, & \text{若 } x\notin A. \end{cases}

由于 B∈YB\in\mathcal Y 且 ∅∈Y\emptyset\in\mathcal Y,无论 xx 是否属于 AA,都有 Tx−1(A×B)∈YT_x^{-1}(A\times B)\in\mathcal Y。因此 TxT_x 可测,进而 f(x,⋅)=f∘Txf(x,\cdot)=f\circ T_x 是 Y\mathcal Y-可测的。

乘积测度的构造

有了命题 4.2,对任意 E∈X⊗YE\in\mathcal X\otimes\mathcal Y 以及每个 x∈Xx\in X、y∈Yy\in Y,ν(E1(x))\nu(E^1(x)) 和 μ(E2(y))\mu(E^2(y)) 就都有了明确的意义。于是,我们便可以把刚才说的“先竖切再横积”和“先横切再竖积”写成两个集合函数:

π1(E):=∫Xν(E1(x)) μ(dx),π2(E):=∫Yμ(E2(y)) ν(dy). \begin{aligned} \pi^1(E) &:= \int_X \nu\bigl(E^1(x)\bigr)\,\mu(\mathrm dx),\\ \pi^2(E) &:= \int_Y \mu\bigl(E^2(y)\bigr)\,\nu(\mathrm dy). \end{aligned}

换句话说,π1(E)\pi^1(E) 和 π2(E)\pi^2(E) 分别对应着在计算区域 EE 的面积时“横着积”和“竖着积”。下面这个定理告诉我们:只要 μ\mu 和 ν\nu 是概率测度(或者更一般的 σ\sigma-有限测度),这两种积分算出来的面积就永远一模一样,而且给出了 X⊗Y\mathcal X\otimes\mathcal Y 上唯一的乘积测度!

定理 4.3 乘积测度的存在唯一性

设 (X,X,μ)(X,\mathcal X,\mu) 和 (Y,Y,ν)(Y,\mathcal Y,\nu) 是两个概率空间(或 σ\sigma-有限测度空间)。那么对于任意 E∈X⊗YE\in\mathcal X\otimes\mathcal Y,函数 x↦ν(E1(x))x\mapsto\nu(E^1(x)) 是 X\mathcal X-可测的,函数 y↦μ(E2(y))y\mapsto\mu(E^2(y)) 是 Y\mathcal Y-可测的,并且

π1(E)=π2(E). \pi^1(E) = \pi^2(E).

据此,我们在 X⊗Y\mathcal X\otimes\mathcal Y 上定义乘积测度(product measure)μ⊗ν\mu\otimes\nu 为

∀E∈X⊗Y,(μ⊗ν)(E):=π1(E)=π2(E). \forall E\in\mathcal X\otimes\mathcal Y,\qquad (\mu\otimes\nu)(E) := \pi^1(E) = \pi^2(E).

它是 X⊗Y\mathcal X\otimes\mathcal Y 上唯一满足对一切可测矩形 A×B∈X×YA\times B\in\mathcal X\times\mathcal Y 都有 (μ⊗ν)(A×B)=μ(A)ν(B)(\mu\otimes\nu)(A\times B)=\mu(A)\nu(B) 的测度。三元组 (X×Y,X⊗Y,μ⊗ν)(X\times Y,\mathcal X\otimes\mathcal Y,\mu\otimes\nu) 就称为 (X,X,μ)(X,\mathcal X,\mu) 与 (Y,Y,ν)(Y,\mathcal Y,\nu) 的乘积测度空间。

证明. 我们先就 μ,ν\mu,\nu 均为有限测度(特别地,概率测度)的情形给出单调类定理的完整证明。定义“好集合族”

G:={E∈X⊗Y  ∣  x↦ν(E1(x)) 是 X-可测的,y↦μ(E2(y)) 是 Y-可测的,  且 π1(E)=π2(E)}. \begin{aligned} \mathcal G := \bigl\{E\in\mathcal X\otimes\mathcal Y \;\big|\;& x\mapsto\nu(E^1(x))\text{ 是 }\mathcal X\text{-可测的},\\ & y\mapsto\mu(E^2(y))\text{ 是 }\mathcal Y\text{-可测的},\;\text{且 }\pi^1(E)=\pi^2(E)\bigr\}. \end{aligned}

我们要用单调类定理(定理 3.7)证明 G=X⊗Y\mathcal G=\mathcal X\otimes\mathcal Y。

  1. 可测矩形及其有限不交并构成的代数 A0⊆G\mathcal A_0\subseteq\mathcal G:对于任意可测矩形 E=A×B∈X×YE=A\times B\in\mathcal X\times\mathcal Y,注意到 E1(x)=BE^1(x)=B(当 x∈Ax\in A)或 ∅\emptyset(当 x∉Ax\notin A),故 ν(E1(x))=ν(B)1A(x)\nu(E^1(x))=\nu(B)\mathbf 1_A(x) 是简单 X\mathcal X-可测函数;同理 μ(E2(y))=μ(A)1B(y)\mu(E^2(y))=\mu(A)\mathbf 1_B(y) 是简单 Y\mathcal Y-可测函数。两边分别积分,立刻得到

    π1(A×B)=∫Xν(B)1A(x) μ(dx)=μ(A)ν(B)=∫Yμ(A)1B(y) ν(dy)=π2(A×B). \begin{aligned} \pi^1(A\times B) &= \int_X\nu(B)\mathbf 1_A(x)\,\mu(\mathrm dx) = \mu(A)\nu(B)\\ &= \int_Y\mu(A)\mathbf 1_B(y)\,\nu(\mathrm dy) = \pi^2(A\times B). \end{aligned}

    若 E=⨆i=1n(Ai×Bi)∈A0E=\bigsqcup_{i=1}^n(A_i\times B_i)\in\mathcal A_0 是有限个互不相交的可测矩形之并,则对每个 x∈Xx\in X,截面 E1(x)=⨆i=1n(Ai×Bi)1(x)E^1(x)=\bigsqcup_{i=1}^n(A_i\times B_i)^1(x) 也是有限个不交可测集的并,由测度与积分的有限可加性立知 E∈GE\in\mathcal G。因此代数 A0⊆G\mathcal A_0\subseteq\mathcal G。

  2. G\mathcal G 是单调类:设 E1⊆E2⊆⋯∈GE_1\subseteq E_2\subseteq\cdots\in\mathcal G 单调递增,记 E=⋃n≥1EnE=\bigcup_{n\ge1}E_n。对每个 x∈Xx\in X,截面满足 En1(x)↑E1(x)E_n^1(x)\uparrow E^1(x),由测度的下连续性有 ν(En1(x))↑ν(E1(x))\nu(E_n^1(x))\uparrow\nu(E^1(x))。因为可测函数列的逐点极限依然可测,故 x↦ν(E1(x))x\mapsto\nu(E^1(x)) 是 X\mathcal X-可测的;再由单调收敛定理(MCT),

    π1(E)=∫Xlim⁡n→∞ν(En1(x)) μ(dx)=(MCT)lim⁡n→∞π1(En)=lim⁡n→∞π2(En)=(MCT)π2(E), \begin{aligned} \pi^1(E) &= \int_X\lim_{n\to\infty}\nu\bigl(E_n^1(x)\bigr)\,\mu(\mathrm dx) \overset{\text{(MCT)}}{=} \lim_{n\to\infty}\pi^1(E_n)\\ &= \lim_{n\to\infty}\pi^2(E_n) \overset{\text{(MCT)}}{=} \pi^2(E), \end{aligned}

    故 E∈GE\in\mathcal G。对于单调递减的集合列 E1⊇E2⊇⋯∈GE_1\supseteq E_2\supseteq\cdots\in\mathcal G,由于 μ(X)<∞,ν(Y)<∞\mu(X)<\infty,\nu(Y)<\infty,可由有界控制收敛定理(或取补集 X×Y∖EnX\times Y\setminus E_n 化为递增列)同样得出 ⋂n≥1En∈G\bigcap_{n\ge1}E_n\in\mathcal G。

既然代数 A0⊆G\mathcal A_0\subseteq\mathcal G 且 G\mathcal G 是单调类,由单调类定理(定理 3.7)即得 X⊗Y=σ(A0)⊆G\mathcal X\otimes\mathcal Y=\sigma(\mathcal A_0)\subseteq\mathcal G!最后,利用单调收敛定理容易验证 π1\pi^1 是 X⊗Y\mathcal X\otimes\mathcal Y 上的可数可加测度,而它在代数 A0\mathcal A_0 上的取值完全由 μ(A)ν(B)\mu(A)\nu(B) 决定,故由测度唯一性定理(定理 3.9)可知该乘积测度唯一。

当 μ,ν\mu,\nu 是像实数轴勒贝格测度 λ\lambda 那样的 σ\sigma-有限测度时,只需把空间拆成可数个有限测度块 X=⨆i≥1XiX=\bigsqcup_{i\ge1}X_i、Y=⨆j≥1YjY=\bigsqcup_{j\ge1}Y_j,在每个有限块 Xi×YjX_i\times Y_j 上应用上述证明,再对 i,ji,j 求可数和(利用非负级数的 MCT)即可推广。

我们来看一个最重要的特例。设 X=Y=RX=Y=\mathbb R,X=Y=B(R)\mathcal X=\mathcal Y=\mathcal B(\mathbb R),μ=ν=λ\mu=\nu=\lambda,即两个坐标空间都是实数轴上的一维勒贝格测度空间。按照定义 4.1 与定理 4.3,它们的乘积空间是 (R2,B(R)⊗2,λ⊗2)(\mathbb R^2,\mathcal B(\mathbb R)^{\otimes 2},\lambda^{\otimes 2})。回忆我们在第三章 3.1 节中是通过全体左开右闭区间矩形 (a1,b1]×(a2,b2](a_1,b_1]\times(a_2,b_2] 生成的 σ\sigma-代数来定义二维 Borel σ\sigma-代数 B(R2)\mathcal B(\mathbb R^2) 的,而这里的 B(R)⊗2\mathcal B(\mathbb R)^{\otimes 2} 则是由全体一维 Borel 集的乘积 A×BA\times B(A,B∈B(R)A,B\in\mathcal B(\mathbb R))生成的 σ\sigma-代数。显然 B(R2)⊆B(R)⊗2\mathcal B(\mathbb R^2)\subseteq\mathcal B(\mathbb R)^{\otimes 2};反过来,先固定区间 I2=(a2,b2]I_2=(a_2,b_2] 考察集族 {A⊆R∣A×I2∈B(R2)}\{A\subseteq\mathbb R\mid A\times I_2\in\mathcal B(\mathbb R^2)\}(它是包含全体左开右闭区间的 σ\sigma-代数,故包含整个 B(R)\mathcal B(\mathbb R)),再固定任意 A∈B(R)A\in\mathcal B(\mathbb R) 考察 {B⊆R∣A×B∈B(R2)}\{B\subseteq\mathbb R\mid A\times B\in\mathcal B(\mathbb R^2)\},便立刻看出对一切 A,B∈B(R)A,B\in\mathcal B(\mathbb R) 都有 A×B∈B(R2)A\times B\in\mathcal B(\mathbb R^2),从而 B(R)⊗2=B(R2)\mathcal B(\mathbb R)^{\otimes 2}=\mathcal B(\mathbb R^2)!并且在矩形 (a1,b1]×(a2,b2](a_1,b_1]\times(a_2,b_2] 上,λ⊗2\lambda^{\otimes 2} 给出的测度正是面积 (b1−a1)(b2−a2)(b_1-a_1)(b_2-a_2)。因此,根据测度扩张的唯一性,乘积测度 λ⊗2\lambda^{\otimes 2} 就是我们在第三章 3.1 节提到的二维欧氏空间 R2\mathbb R^2 上的勒贝格测度!

定理 4.3 的定义与构造可以逐字推广到任意有限个测度空间的乘积 ⨂i=1n(Xi,Xi,μi)\bigotimes_{i=1}^n(X_i,\mathcal X_i,\mu_i)。至于可数无穷多个概率空间的乘积 ∏n=1∞(Ωn,Fn,Pn)\prod_{n=1}^\infty(\Omega_n,\mathcal F_n,\mathbb P_n),我们在第三章命题 3.10 中已经通过有限维柱集代数陈述过它的存在唯一性(在一般拓扑空间上称为 Kolmogorov 扩张定理)。

富比尼–托内利定理

现在我们可以回到本节开头的那个核心问题了:在乘积测度空间 (X×Y,X⊗Y,μ⊗ν)(X\times Y,\mathcal X\otimes\mathcal Y,\mu\otimes\nu) 上,二重积分什么时候可以拆成累次积分,并且任意交换积分顺序?给出完美解答的正是实分析中大名鼎鼎的富比尼–托内利定理(Fubini–Tonelli Theorem)。

定理 4.4 富比尼–托内利定理(Fubini–Tonelli Theorem)

设 (X,X,μ)(X,\mathcal X,\mu) 和 (Y,Y,ν)(Y,\mathcal Y,\nu) 是 σ\sigma-有限测度空间(特别地,概率空间),f:X×Y→Rf:X\times Y\to\mathbb R 是 X⊗Y\mathcal X\otimes\mathcal Y-可测函数。如果以下两个条件之一成立:

  1. (Tonelli 定理:非负情形) f(x,y)≥0f(x,y)\ge 0 对所有 (x,y)∈X×Y(x,y)\in X\times Y 成立;或者
  2. (Fubini 定理:绝对可积情形) ff 在乘积测度 μ⊗ν\mu\otimes\nu 下可积,即 ∫X×Y∣f(x,y)∣ (μ⊗ν)(dx dy)<∞\int_{X\times Y}|f(x,y)|\,(\mu\otimes\nu)(\mathrm dx\,\mathrm dy)<\infty,

那么下列三个积分相等(即积分顺序可以任意交换):

∫X×Yf(x,y) (μ⊗ν)(dx dy)=∫X(∫Yf(x,y) ν(dy))μ(dx)=∫Y(∫Xf(x,y) μ(dx))ν(dy). \begin{aligned} \int_{X\times Y} f(x,y)\,(\mu\otimes\nu)(\mathrm dx\,\mathrm dy) &= \int_X\left(\int_Y f(x,y)\,\nu(\mathrm dy)\right)\mu(\mathrm dx)\\ &= \int_Y\left(\int_X f(x,y)\,\mu(\mathrm dx)\right)\nu(\mathrm dy). \end{aligned}

严格地说,在情况 2(ff 可正可负且关于 μ⊗ν\mu\otimes\nu 可积)下,内层积分 ∫Y∣f(x,y)∣ ν(dy)<∞\int_Y|f(x,y)|\,\nu(\mathrm dy)<\infty 是对 μ\mu-几乎处处的 x∈Xx\in X 成立(若在某个零测集上发散,将其改定义为 00 丝毫不影响外层关于 μ\mu 的积分)。

证明. 这套证明思路就是我们在第三章 3.7 节用过的“标准机器”,大家现在应该已经非常熟悉了。因为可积情形(条件 2)只需把 f=f+−f−f=f^+-f^- 拆成正部与负部两个非负可积函数分别应用条件 1 再相减,所以我们只需要证明 f≥0f\ge 0 的情形(条件 1)。

  • 第一步(指示函数):如果 f=1Ef=\mathbf 1_E,其中 E∈X⊗YE\in\mathcal X\otimes\mathcal Y 是某个可测集。那么对任意固定的 x∈Xx\in X,内层积分 ∫Y1E(x,y) ν(dy)=∫Y1E1(x)(y) ν(dy)=ν(E1(x))\int_Y\mathbf 1_E(x,y)\,\nu(\mathrm dy)=\int_Y\mathbf 1_{E^1(x)}(y)\,\nu(\mathrm dy)=\nu(E^1(x))。于是,我们要证的三个积分相等,恰好就是定理 4.3 中刚刚证过的“乘积测度 (μ⊗ν)(E)(\mu\otimes\nu)(E) = 横着积 π1(E)\pi^1(E) = 竖着积 π2(E)\pi^2(E)”的恒等式!
  • 第二步(简单离散逼近):对于一般的非负可测函数 f≥0f\ge 0,考虑它在 2−n2^{-n} 尺度下的二进制下逼近 f‾n(x,y):=2−n⌊2nf(x,y)⌋\underline f_n(x,y):=2^{-n}\lfloor 2^n f(x,y)\rfloor。对每一个固定的 nn,f‾n\underline f_n 都是可测集指示函数的非负级数 ∑k=1∞k⋅2−n1En,k\sum_{k=1}^\infty k\cdot 2^{-n}\mathbf 1_{E_{n,k}}。利用勒贝格积分的线性性与非负级数逐项积分性质(命题 3.23),由第一步立知定理的等式对每个 f‾n\underline f_n 都成立(同时保证了 x↦∫Yf‾n(x,y) ν(dy)x\mapsto\int_Y\underline f_n(x,y)\,\nu(\mathrm dy) 是 X\mathcal X-可测的)。
  • 第三步(单调收敛取极限):令 n→∞n\to\infty。由于 0≤f‾n↑f0\le\underline f_n\uparrow f,对内层积分与外层积分先后应用单调收敛定理(MCT),对 f‾n\underline f_n 的积分等式两边取极限即得到对 ff 的积分等式。

注意 非绝对可积时不可随意交换积分或求和次序

这里有一点必须敲黑板强调:在 Fubini 定理(可正可负情形)里,关于 ff 的可积性要求是 ff 在乘积测度 μ⊗ν\mu\otimes\nu 上绝对可积(即 ∫X×Y∣f∣ d(μ⊗ν)<∞\int_{X\times Y}|f|\,\mathrm d(\mu\otimes\nu)<\infty)。如果仅仅是“对每一个 x∈Xx\in X,f(x,⋅)f(x,\cdot) 在 ν\nu 上可积”并且“对每一个 y∈Yy\in Y,f(⋅,y)f(\cdot,y) 在 μ\mu 上可积”,是远远不够的!

例如,考虑无穷网格 N×N\mathbb N\times\mathbb N 上的计数测度,令 f(i,i)=1f(i,i)=1,f(i,i+1)=−1f(i,i+1)=-1,其余全为 00(写成无穷矩阵就是主对角线为 +1+1、紧邻上方副对角线为 −1-1):

(1−10⋯01−1⋯001⋯⋮⋮⋮⋱) \begin{pmatrix} 1 & -1 & 0 & \cdots \\ 0 & 1 & -1 & \cdots \\ 0 & 0 & 1 & \cdots \\ \vdots & \vdots & \vdots & \ddots \end{pmatrix}

先按行求和,每一行都是 1−1=01-1=0,再对行求和得 ∑i=1∞∑j=1∞f(i,j)=0\sum_{i=1}^\infty\sum_{j=1}^\infty f(i,j)=0;但若先按列求和,第 11 列和为 11,第 j≥2j\ge2 列和为 −1+1=0-1+1=0,再对列求和却得到 ∑j=1∞∑i=1∞f(i,j)=1≠0\sum_{j=1}^\infty\sum_{i=1}^\infty f(i,j)=1\ne 0!两个累次和各自良定义却不相等,根源正是全空间绝对值之和 ∑i,j∣f(i,j)∣=1+2+2+⋯=∞\sum_{i,j}|f(i,j)|=1+2+2+\cdots=\infty 不满足乘积测度上的绝对可积条件。

在实际做题和推导中,我们使用 Fubini–Tonelli 定理的标准操作流程是下面这两步:

  1. 被积函数 f≥0f\ge 0 非负:直接调用 Tonelli 定理,可以毫无顾忌地随意交换积分顺序进行计算。
  2. 被积函数 ff 可正可负:我们先对绝对值 ∣f∣≥0|f|\ge 0 调用 Tonelli 定理计算某一个方向上的累次积分,比如算出 ∫X(∫Y∣f(x,y)∣ ν(dy))μ(dx)\int_X\bigl(\int_Y|f(x,y)|\,\nu(\mathrm dy)\bigr)\mu(\mathrm dx)。只要算出来的结果 <∞<\infty,就说明 ∫X×Y∣f∣ d(μ⊗ν)<∞\int_{X\times Y}|f|\,\mathrm d(\mu\otimes\nu)<\infty,从而满足了 Fubini 定理的条件,接下来就可以放心地对原来的 ff 交换积分顺序了!

紧接应用:非负随机变量的尾积分公式

学会了 Fubini–Tonelli 定理,我们马上就能收获一个在概率计算中极其好用的公式。

回忆在第三章 3.7 节里,我们已经学会了两种从分布算期望的方法:离散型随机变量用质量函数求和 ∑xx P(X=x)\sum_x x\,\mathbb P(X=x),绝对连续型随机变量用密度函数积分 ∫Rxf(x) dx\int_{\mathbb R}x f(x)\,\mathrm dx。此外,在第二章 2.5 节研究几何分布与赠券收集时,我们还用过一个离散的“尾部和公式”:对于取非负整数值的随机变量 TT,有 E[T]=∑k=0∞P(T>k)\mathbb E[T]=\sum_{k=0}^\infty\mathbb P(T>k)。

现在,如果给你一个一般的非负随机变量 X≥0X\ge 0——不管它是离散的、绝对连续的,还是既非离散也没有密度的混合型——我们能不能只用它的尾概率 P(X>t)=1−FX(t)\mathbb P(X>t)=1-F_X(t) 就直接把期望算出来呢?借助刚刚证好的 Tonelli 定理,这只需要两行字就能搞定!

命题 4.5 非负随机变量的尾积分公式

设 X≥0X\ge 0 是概率空间 (Ω,F,P)(\Omega,\mathcal F,\mathbb P) 上的非负随机变量(允许取 +∞+\infty),则

E[X]=∫0∞P(X>t) dt, \mathbb E[X] = \int_0^\infty \mathbb P(X>t)\,\mathrm dt,

其中右端是 [0,∞)[0,\infty) 上关于一维勒贝格测度 λ(dt)=dt\lambda(\mathrm dt)=\mathrm dt 的积分。更一般地,对任意常数 p>0p>0,有 pp 阶矩尾积分公式:

E[Xp]=∫0∞ptp−1P(X>t) dt. \mathbb E[X^p] = \int_0^\infty p t^{p-1}\mathbb P(X>t)\,\mathrm dt.

ω ∈ Ω t 0 t = X(ω) ω t {ω : X(ω) > t}

把指示函数 1{X(ω)>t}\mathbf 1_{\{X(\omega)>t\}} 看作乘积空间 Ω×[0,∞)\Omega\times[0,\infty) 上曲边区域(绿影)的指示函数:先对 tt 竖着积,柱高是 X(ω)X(\omega),再对 ω\omega 求期望得 E[X]\mathbb E[X];先对 ω\omega 横着积,横截面测度是 P(X>t)\mathbb P(X>t),再对 tt 积分就得到 ∫0∞P(X>t) dt\int_0^\infty\mathbb P(X>t)\,\mathrm dt!

证明. 我们在乘积测度空间 (Ω,F,P)×([0,∞),B([0,∞)),λ)(\Omega,\mathcal F,\mathbb P)\times([0,\infty),\mathcal B([0,\infty)),\lambda) 上考察非负二元可测函数

f(ω,t):=1{X(ω)>t}={1,若 0≤t<X(ω),0,若 t≥X(ω). f(\omega,t) := \mathbf 1_{\{X(\omega)>t\}} = \begin{cases} 1, & \text{若 } 0\le t < X(\omega),\\ 0, & \text{若 } t \ge X(\omega). \end{cases}

首先,对每一个固定的样本点 ω∈Ω\omega\in\Omega,关于 tt 的截面积分就是区间 [0,X(ω))[0,X(\omega)) 的长度:

∫0∞1{X(ω)>t} dt=∫0X(ω)1 dt=X(ω). \int_0^\infty \mathbf 1_{\{X(\omega)>t\}}\,\mathrm dt = \int_0^{X(\omega)} 1\,\mathrm dt = X(\omega).

其次,对每一个固定的实数 t≥0t\ge 0,关于 ω\omega 的截面积分就是事件 {X>t}\{X>t\} 的概率:

∫Ω1{X(ω)>t} P(dω)=P(X>t). \int_\Omega \mathbf 1_{\{X(\omega)>t\}}\,\mathbb P(\mathrm d\omega) = \mathbb P(X>t).

因为被积函数 1{X(ω)>t}≥0\mathbf 1_{\{X(\omega)>t\}}\ge 0 非负,直接应用 Tonelli 定理(定理 4.4)交换两个积分的顺序,立得

E[X]=∫ΩX(ω) P(dω)=∫Ω(∫0∞1{X(ω)>t} dt)P(dω)=(Tonelli)∫0∞(∫Ω1{X(ω)>t} P(dω))dt=∫0∞P(X>t) dt. \begin{aligned} \mathbb E[X] &= \int_\Omega X(\omega)\,\mathbb P(\mathrm d\omega) = \int_\Omega\left(\int_0^\infty \mathbf 1_{\{X(\omega)>t\}}\,\mathrm dt\right)\mathbb P(\mathrm d\omega)\\ &\overset{\text{(Tonelli)}}{=} \int_0^\infty\left(\int_\Omega \mathbf 1_{\{X(\omega)>t\}}\,\mathbb P(\mathrm d\omega)\right)\mathrm dt = \int_0^\infty \mathbb P(X>t)\,\mathrm dt. \end{aligned}

对于更一般的 pp 阶矩(p>0p>0),只需注意到当 X(ω)≥0X(\omega)\ge 0 时,由微积分基本定理有恒等式

(X(ω))p=∫0X(ω)ptp−1 dt=∫0∞ptp−11{X(ω)>t} dt. \bigl(X(\omega)\bigr)^p = \int_0^{X(\omega)} p t^{p-1}\,\mathrm dt = \int_0^\infty p t^{p-1}\mathbf 1_{\{X(\omega)>t\}}\,\mathrm dt.

对非负被积函数 ptp−11{X(ω)>t}≥0p t^{p-1}\mathbf 1_{\{X(\omega)>t\}}\ge 0 再次调用 Tonelli 定理交换 E\mathbb E 与 ∫0∞dt\int_0^\infty\mathrm dt,便立刻得到 E[Xp]=∫0∞ptp−1P(X>t) dt\mathbb E[X^p]=\int_0^\infty p t^{p-1}\mathbb P(X>t)\,\mathrm dt。

对比一下就能体会到 Fubini–Tonelli 定理的威力:如果不用乘积空间,要证明命题 4.5 就不得不像第三章证明 LOTUS 那样,先把 XX 做 2−n2^{-n} 尺度的二进制离散化下逼近 X‾n\underline X_n、在格点上交换双重级数求和、再用单调收敛定理取极限;而一旦站在乘积空间 Ω×[0,∞)\Omega\times[0,\infty) 上,尾积分公式不过是对曲边区域 {(ω,t):0≤t<X(ω)}\{( \omega,t):0\le t<X(\omega)\} 先竖积还是先横积的同一件事!在下一节的 例 4.1 和 例 4.2 中,我们马上就会用到这个公式。

4.2 联合分布、一般独立性推广与对称性算例

我们在第三章已经介绍了一个随机变量的分布函数、分布测度、概率质量函数与概率密度函数。现在,我们把目光投向定义在同一个概率空间 (Ω,F,P)(\Omega,\mathcal F,\mathbb P) 上的多个随机变量,正式建立它们的“联合”分布与一般独立性理论,并兑现第三章遗留下来的乘积期望证明。

联合分布函数与边缘分布

我们还是固定一个概率空间 (Ω,F,P)(\Omega,\mathcal F,\mathbb P)。对于定义在上面的两个随机变量 X,Y:Ω→RX,Y:\Omega\to\mathbb R,我们定义它们的联合分布函数(joint distribution function)F:R2→[0,1]F:\mathbb R^2\to[0,1] 为

∀x,y∈R,F(x,y):=P(X≤x, Y≤y). \forall x,y\in\mathbb R,\qquad F(x,y) := \mathbb P(X\le x,\,Y\le y).

在谈论随机变量的取值所定义的事件时,我们常把事件交集 [X≤x]∩[Y≤y][X\le x]\cap[Y\le y] 简记为 {X≤x, Y≤y}\{X\le x,\,Y\le y\} 或 {X≤x∧Y≤y}\{X\le x\land Y\le y\},含义完全相同。

这个定义可以直接推广到任意有限个随机变量 X1,…,Xn:Ω→RX_1,\dots,X_n:\Omega\to\mathbb R 的联合分布函数:

∀x1,…,xn∈R,F(x1,…,xn):=P(X1≤x1,…,Xn≤xn). \forall x_1,\dots,x_n\in\mathbb R,\qquad F(x_1,\dots,x_n) := \mathbb P(X_1\le x_1,\dots,X_n\le x_n).

对于一般的维数 nn,联合分布的大部分性质与 n=2n=2 时并没有本质区别;因此,我们接下来的讨论均以 n=2n=2 为例。除非额外说明,所述的性质都可以自然地推广到一般的有限维数 nn。

我们在第三章命题 3.15 和命题 3.16 中建立的一元分布函数性质,都可以自然地推广到二元分布函数:

命题 4.6 二元分布函数的基本性质

设 F(x,y)=P(X≤x,Y≤y)F(x,y)=\mathbb P(X\le x,Y\le y) 是随机变量 X,YX,Y 的联合分布函数,则:

  1. (单调性与右连续性) 对每个固定的 y∈Ry\in\mathbb R,一元函数 x↦F(x,y)x\mapsto F(x,y) 是单调非降、右连续且左极限存在的函数;对每个固定的 x∈Rx\in\mathbb R,y↦F(x,y)y\mapsto F(x,y) 同理。
  2. (无穷远极限) 极限 F(x,∞):=lim⁡y→∞F(x,y)F(x,\infty):=\lim_{y\to\infty}F(x,y) 与 F(∞,y):=lim⁡x→∞F(x,y)F(\infty,y):=\lim_{x\to\infty}F(x,y) 均存在;且对每个固定的 x,y∈Rx,y\in\mathbb R,有 lim⁡x→−∞F(x,y)=lim⁡y→−∞F(x,y)=0,lim⁡x→∞, y→∞F(x,y)=1.\lim_{x\to-\infty}F(x,y) = \lim_{y\to-\infty}F(x,y) = 0,\qquad \lim_{x\to\infty,\,y\to\infty}F(x,y) = 1.
  3. (矩形差分非负性) 对任意 a1≤b1a_1\le b_1 和 a2≤b2a_2\le b_2,随机点 (X,Y)(X,Y) 落入左开右闭矩形 (a1,b1]×(a2,b2](a_1,b_1]\times(a_2,b_2] 的概率由四点容斥给出: P(a1<X≤b1,a2<Y≤b2)=F(b1,b2)−F(a1,b2)−F(b1,a2)+F(a1,a2)≥0.\mathbb P(a_1<X\le b_1,a_2<Y\le b_2) = F(b_1,b_2) - F(a_1,b_2) - F(b_1,a_2) + F(a_1,a_2) \ge 0.
  4. (单点质量) 在任意点 (x,y)∈R2(x,y)\in\mathbb R^2 上取值的概率为 P(X=x, Y=y)=F(x,y)−F(x−,y)−F(x,y−)+F(x−,y−),\mathbb P(X=x,\,Y=y) = F(x,y) - F(x-,y) - F(x,y-) + F(x-,y-), 其中 F(x−,y):=lim⁡u↑xF(u,y)F(x-,y):=\lim_{u\uparrow x}F(u,y),其余记号类似。

注意二元情形与一元情形的一个微妙差别:仅靠“对每个坐标分别单调非降”不足以保证 F(x,y)F(x,y) 是一个合法的二元分布函数!必须满足第 3 条的矩形差分非负性 Δa1,b1Δa2,b2F≥0\Delta_{a_1,b_1}\Delta_{a_2,b_2}F\ge 0,才能保证它在二维左开右闭矩形上定出非负的面积。

当我们同时讨论多个随机变量时,常常把 X,YX,Y 作为下标,将它们的联合分布函数记作 FX,YF_{X,Y}(或 FXYF_{XY})。我们定义 XX 和 YY 的边缘分布函数(marginal distribution function)分别为

FX(x):=FX,Y(x,∞)=lim⁡y→∞P(X≤x, Y≤y)=P(X≤x),FY(y):=FX,Y(∞,y)=lim⁡x→∞P(X≤x, Y≤y)=P(Y≤y). \begin{aligned} F_X(x) &:= F_{X,Y}(x,\infty) = \lim_{y\to\infty}\mathbb P(X\le x,\,Y\le y) = \mathbb P(X\le x),\\ F_Y(y) &:= F_{X,Y}(\infty,y) = \lim_{x\to\infty}\mathbb P(X\le x,\,Y\le y) = \mathbb P(Y\le y). \end{aligned}

显然,FX(x)F_X(x) 和 FY(y)F_Y(y) 就是 XX 和 YY 各自的分布函数。我们在这里特意加上“边缘”(marginal)二字,是为了强调它们分别是从二元联合分布 (X,Y)(X,Y) 中“把另一个变量积分/求和消掉”之后留下的部分。

从测度论的角度看,由于 X,Y:Ω→RX,Y:\Omega\to\mathbb R 都是可测函数,对于平面上的任意可测矩形 A×B∈B(R)×B(R)A\times B\in\mathcal B(\mathbb R)\times\mathcal B(\mathbb R),原像 {(X,Y)∈A×B}=[X∈A]∩[Y∈B]∈F\{(X,Y)\in A\times B\}=[X\in A]\cap[Y\in B]\in\mathcal F。结合 4.1 节定理 4.3 下方已验证的 B(R2)=B(R)⊗B(R)\mathcal B(\mathbb R^2)=\mathcal B(\mathbb R)\otimes\mathcal B(\mathbb R),这说明二维映射 (X,Y):Ω→R2(X,Y):\Omega\to\mathbb R^2 是一个从 (Ω,F)(\Omega,\mathcal F) 到 (R2,B(R2))(\mathbb R^2,\mathcal B(\mathbb R^2)) 的可测映射(称为二维随机向量)。它在 (R2,B(R2))(\mathbb R^2,\mathcal B(\mathbb R^2)) 上诱导出的推前概率测度

∀E∈B(R2),μX,Y(E):=P((X,Y)∈E) \forall E\in\mathcal B(\mathbb R^2),\qquad \mu_{X,Y}(E) := \mathbb P\bigl((X,Y)\in E\bigr)

就称为 (X,Y)(X,Y) 的联合分布(joint distribution)。根据命题 4.6 的第 3 条以及测度扩张的唯一性定理(定理 3.9),联合分布测度 μX,Y\mu_{X,Y} 完全由联合分布函数 FX,YF_{X,Y} 唯一决定。

特别地,当 XX 和 YY 都是离散随机变量时,它们的联合分布完全由联合概率质量函数(joint pmf)

pX,Y(x,y):=P(X=x, Y=y) p_{X,Y}(x,y) := \mathbb P(X=x,\,Y=y)

刻画。此时,按另一个变量的全部可能取值做可数不交并求和,就从联合质量函数恢复出了各自的边缘概率质量函数(marginal pmf):

pX(x)=∑y∈Im(Y)pX,Y(x,y),pY(y)=∑x∈Im(X)pX,Y(x,y). p_X(x) = \sum_{y\in\mathrm{Im}(Y)} p_{X,Y}(x,y),\qquad p_Y(y) = \sum_{x\in\mathrm{Im}(X)} p_{X,Y}(x,y).

而对任意二元函数 g:R2→Rg:\mathbb R^2\to\mathbb R,只要 g(X,Y)g(X,Y) 非负或绝对可积,二维离散随机变量的 LOTUS 公式就是按联合质量函数求和:

E[g(X,Y)]=∑x∈Im(X)∑y∈Im(Y)g(x,y) pX,Y(x,y). \mathbb E\bigl[g(X,Y)\bigr] = \sum_{x\in\mathrm{Im}(X)}\sum_{y\in\mathrm{Im}(Y)} g(x,y)\,p_{X,Y}(x,y).

一般随机变量的独立性

我们在第二章 2.4 节命题 2.11 中,曾对离散随机变量通过单点事件定义了独立性(即对一切 a,ba,b 有 P(X=a∧Y=b)=P(X=a)P(Y=b)\mathbb P(X=a\land Y=b)=\mathbb P(X=a)\mathbb P(Y=b))。但对于连续型或一般随机变量,任何单点的概率可能恒为 00,单点条件不再适用。

把定义推广到一般随机变量的方式非常自然:无论我们对 XX 和 YY 的取值提什么样的 Borel 可测问题,对应的事件都应当相互独立。

定义 4.7 一般随机变量的独立性

设 (Ω,F,P)(\Omega,\mathcal F,\mathbb P) 是一个概率空间。

  1. 两个随机变量 X,Y:Ω→RX,Y:\Omega\to\mathbb R 称为独立(independent),记作 X⊥YX\perp Y,如果对任意一维 Borel 集 A,B∈B(R)A,B\in\mathcal B(\mathbb R),都有 P(X∈A∧Y∈B)=P(X∈A)⋅P(Y∈B).\mathbb P(X\in A\land Y\in B) = \mathbb P(X\in A)\cdot\mathbb P(Y\in B).
  2. 有限个随机变量 X1,…,Xn:Ω→RX_1,\dots,X_n:\Omega\to\mathbb R 称为相互独立(mutually independent),如果对任意 Borel 集 A1,…,An∈B(R)A_1,\dots,A_n\in\mathcal B(\mathbb R),都有 P(⋂i=1n{Xi∈Ai})=∏i=1nP(Xi∈Ai).\mathbb P\left(\bigcap_{i=1}^n\{X_i\in A_i\}\right) = \prod_{i=1}^n\mathbb P(X_i\in A_i). 任意一族随机变量 {Xα}α∈I\{X_\alpha\}_{\alpha\in I} 称为相互独立,如果它的每一个有限子集都相互独立。

和事件独立性一样,对于三个以上随机变量 X1,…,XnX_1,\dots,X_n,需要区分两两独立(pairwise independent,即对任意 i≠ji\ne j 有 Xi⊥XjX_i\perp X_j)与相互独立。此外,若记随机变量生成的 σ\sigma-代数为 σ(X):={X−1(A):A∈B(R)}\sigma(X):=\{X^{-1}(A):A\in\mathcal B(\mathbb R)\},则 X⊥YX\perp Y 恰好就是两个子 σ\sigma-代数 σ(X)\sigma(X) 与 σ(Y)\sigma(Y) 中的事件相互独立;我们将在第六章讨论条件期望的信息语义时系统展开这一视角。

定义 4.7 要求对一切一维 Borel 集 A,B∈B(R)A,B\in\mathcal B(\mathbb R) 检验概率乘积关系。在实际应用中,我们当然不可能逐一检验所有 Borel 集。好在借助 4.1 节的乘积测度与第三章的单调类定理,它与联合分布测度分解 μX,Y=μX⊗μY\mu_{X,Y}=\mu_X\otimes\mu_Y 以及联合分布函数分解 FX,Y(x,y)=FX(x)FY(y)F_{X,Y}(x,y)=F_X(x)F_Y(y) 完全等价:

定理 4.8 随机变量独立性的等价刻画与分布函数判据

设 XX 和 YY 是概率空间 (Ω,F,P)(\Omega,\mathcal F,\mathbb P) 上的两个随机变量,则以下三条陈述相互等价:

  1. (Borel 集事件独立) X⊥YX\perp Y,即对任意 A,B∈B(R)A,B\in\mathcal B(\mathbb R),都有 P(X∈A∧Y∈B)=P(X∈A)⋅P(Y∈B)\mathbb P(X\in A\land Y\in B)=\mathbb P(X\in A)\cdot\mathbb P(Y\in B);
  2. (联合分布测度为乘积测度) (X,Y)(X,Y) 在 (R2,B(R2))(\mathbb R^2,\mathcal B(\mathbb R^2)) 上的联合分布测度等于各自边缘分布测度的乘积测度,即 μX,Y=μX⊗μY;\mu_{X,Y} = \mu_X\otimes\mu_Y;
  3. (联合分布函数分解) 对任意实数 x,y∈Rx,y\in\mathbb R(甚至只需对任意有理数 x,y∈Qx,y\in\mathbb Q),它们的联合分布函数满足 FX,Y(x,y)=FX(x)⋅FY(y),F_{X,Y}(x,y) = F_X(x)\cdot F_Y(y), 即 P(X≤x∧Y≤y)=P(X≤x)⋅P(Y≤y)\mathbb P(X\le x\land Y\le y)=\mathbb P(X\le x)\cdot\mathbb P(Y\le y)。对于离散随机变量 X,YX,Y,这也等价于对一切 x,y∈Rx,y\in\mathbb R 有联合质量函数分解 pX,Y(x,y)=pX(x)pY(y)p_{X,Y}(x,y)=p_X(x)p_Y(y)。

(同理,有限个随机变量 X1,…,XnX_1,\dots,X_n 相互独立   ⟺  μX1,…,Xn=⨂i=1nμXi\iff \mu_{X_1,\dots,X_n}=\bigotimes_{i=1}^n\mu_{X_i}   ⟺  FX1,…,Xn(x1,…,xn)=∏i=1nFXi(xi)\iff F_{X_1,\dots,X_n}(x_1,\dots,x_n)=\prod_{i=1}^n F_{X_i}(x_i)。)

证明. 我们先证 (1)   ⟺  \iff (2)。对任意一维 Borel 集 A,B∈B(R)A,B\in\mathcal B(\mathbb R),根据联合分布测度的定义与乘积测度在可测矩形上的刻画(定理 4.3),恒有 μX,Y(A×B)=P((X,Y)∈A×B)=P(X∈A∧Y∈B),(μX⊗μY)(A×B)=μX(A)⋅μY(B)=P(X∈A)⋅P(Y∈B). \begin{aligned} \mu_{X,Y}(A\times B) &= \mathbb P\bigl((X,Y)\in A\times B\bigr) = \mathbb P(X\in A\land Y\in B),\\ (\mu_X\otimes\mu_Y)(A\times B) &= \mu_X(A)\cdot\mu_Y(B) = \mathbb P(X\in A)\cdot\mathbb P(Y\in B). \end{aligned} 若 μX,Y=μX⊗μY\mu_{X,Y}=\mu_X\otimes\mu_Y,在可测矩形 A×BA\times B 上比较上式立得 X⊥YX\perp Y。反之,若 X⊥YX\perp Y,则 μX,Y\mu_{X,Y} 与 μX⊗μY\mu_X\otimes\mu_Y 在所有可测矩形 A×BA\times B 上取值相等;由于我们在 4.1 节定理 4.3 下方已证 B(R2)=B(R)⊗B(R)\mathcal B(\mathbb R^2)=\mathcal B(\mathbb R)\otimes\mathcal B(\mathbb R),由定理 4.3 中乘积测度的唯一性即得在全体 B(R2)\mathcal B(\mathbb R^2) 上都有 μX,Y=μX⊗μY\mu_{X,Y}=\mu_X\otimes\mu_Y。

下面证明 (1)   ⟺  \iff (3)。必要性((1) ⇒\Rightarrow (3))只需取 A=(−∞,x]A=(-\infty,x]、B=(−∞,y]B=(-\infty,y] 即可。为证充分性((3) ⇒\Rightarrow (1)),假设对一切有理数 r,s∈Qr,s\in\mathbb Q 都有 P(X≤r∧Y≤s)=P(X≤r)P(Y≤s)\mathbb P(X\le r\land Y\le s)=\mathbb P(X\le r)\mathbb P(Y\le s)。我们分两步调用单调类定理(定理 3.7):

  • 第一步:固定 X≤rX\le r,将 YY 的集合推广到 B(R)\mathcal B(\mathbb R)。 任意固定 r∈Qr\in\mathbb Q,定义 G:={B∈B(R)  ∣  P(X≤r∧Y∈B)=P(X≤r)⋅P(Y∈B)}. \mathcal G := \bigl\{B\in\mathcal B(\mathbb R) \;\big|\; \mathbb P(X\le r\land Y\in B) = \mathbb P(X\le r)\cdot\mathbb P(Y\in B)\bigr\}. 仿照第三章命题 3.12 的生成元构造,记由有理端点左开右闭区间 (a,b](a,b](a≤b∈Q∪{±∞}a\le b\in\mathbb Q\cup\{\pm\infty\})的有限不交并构成的代数为 B′\mathcal B',它满足 σ(B′)=B(R)\sigma(\mathcal B')=\mathcal B(\mathbb R)。对任意有理端点区间 (a,b](a,b],由 {Y∈(a,b]}={Y≤b}∖{Y≤a}\{Y\in(a,b]\}=\{Y\le b\}\setminus\{Y\le a\} 及概率可减性有 P(X≤r∧Y∈(a,b])=P(X≤r∧Y≤b)−P(X≤r∧Y≤a)=P(X≤r)(P(Y≤b)−P(Y≤a))=P(X≤r)⋅P(Y∈(a,b]), \begin{aligned} \mathbb P\bigl(X\le r\land Y\in(a,b]\bigr) &= \mathbb P(X\le r\land Y\le b) - \mathbb P(X\le r\land Y\le a)\\ &= \mathbb P(X\le r)\bigl(\mathbb P(Y\le b)-\mathbb P(Y\le a)\bigr)\\ &= \mathbb P(X\le r)\cdot\mathbb P\bigl(Y\in(a,b]\bigr), \end{aligned} 再由有限不交并的可加性知代数 B′⊆G\mathcal B'\subseteq\mathcal G。另一方面,对单调递增列 B1⊆B2⊆⋯∈GB_1\subseteq B_2\subseteq\cdots\in\mathcal G,由概率测度的下连续性有 P(X≤r∧Y∈⋃n≥1Bn)=lim⁡n→∞P(X≤r∧Y∈Bn)=lim⁡n→∞P(X≤r)⋅P(Y∈Bn)=P(X≤r)⋅P(Y∈⋃n≥1Bn), \begin{aligned} \mathbb P\left(X\le r\land Y\in\bigcup_{n\ge1}B_n\right) &= \lim_{n\to\infty}\mathbb P(X\le r\land Y\in B_n) = \lim_{n\to\infty}\mathbb P(X\le r)\cdot\mathbb P(Y\in B_n)\\ &= \mathbb P(X\le r)\cdot\mathbb P\left(Y\in\bigcup_{n\ge1}B_n\right), \end{aligned} 对单调递减列同理(由上连续性),故 G\mathcal G 是单调类。由单调类定理(定理 3.7)得 G=B(R)\mathcal G=\mathcal B(\mathbb R)。
  • 第二步:固定任意 B∈B(R)B\in\mathcal B(\mathbb R),将 XX 的集合推广到 B(R)\mathcal B(\mathbb R)。 任意固定 B∈B(R)B\in\mathcal B(\mathbb R),考察 G′:={A∈B(R)  ∣  P(X∈A∧Y∈B)=P(X∈A)⋅P(Y∈B)}. \mathcal G' := \bigl\{A\in\mathcal B(\mathbb R) \;\big|\; \mathbb P(X\in A\land Y\in B) = \mathbb P(X\in A)\cdot\mathbb P(Y\in B)\bigr\}. 由第一步知对一切 r∈Qr\in\mathbb Q 都有 (−∞,r]∈G′(-\infty,r]\in\mathcal G'。用与第一步完全相同的论证可知 B′⊆G′\mathcal B'\subseteq\mathcal G' 且 G′\mathcal G' 是单调类,再次应用单调类定理即得 G′=B(R)\mathcal G'=\mathcal B(\mathbb R)。

由定义 4.7 与定理 4.8,我们立即可得独立随机变量的一个常用性质:对相互独立的随机变量分别做 Borel 可测函数变换,所得的新随机变量依然独立。

命题 4.9 独立随机变量的可测函数仍独立

  1. 设随机变量 XX 与 YY 独立,f,g:R→Rf,g:\mathbb R\to\mathbb R 是任意两个 Borel 可测函数,则 f(X)f(X) 与 g(Y)g(Y) 也独立。
  2. 更一般地,设 X1,…,Xn,Y1,…,YmX_1,\dots,X_n,Y_1,\dots,Y_m 相互独立,f:Rn→Rf:\mathbb R^n\to\mathbb R 与 g:Rm→Rg:\mathbb R^m\to\mathbb R 均为 Borel 可测函数,则 f(X1,…,Xn)f(X_1,\dots,X_n) 与 g(Y1,…,Ym)g(Y_1,\dots,Y_m) 也独立。

证明. 记 X=(X1,…,Xn):Ω→Rn\mathbf X=(X_1,\dots,X_n):\Omega\to\mathbb R^n,Y=(Y1,…,Ym):Ω→Rm\mathbf Y=(Y_1,\dots,Y_m):\Omega\to\mathbb R^m。由 X1,…,Xn,Y1,…,YmX_1,\dots,X_n,Y_1,\dots,Y_m 相互独立及定理 4.8(2) 的多变量情形,在 Rn×Rm\mathbb R^n\times\mathbb R^m 上有乘积测度分解 μX,Y=μX⊗μY\mu_{\mathbf X,\mathbf Y}=\mu_{\mathbf X}\otimes\mu_{\mathbf Y}。对任意一维 Borel 集 A,B∈B(R)A,B\in\mathcal B(\mathbb R),由于 f,gf,g 是 Borel 可测的,原像满足 f−1(A)∈B(Rn)f^{-1}(A)\in\mathcal B(\mathbb R^n) 且 g−1(B)∈B(Rm)g^{-1}(B)\in\mathcal B(\mathbb R^m)。因此 P(f(X)∈A∧g(Y)∈B)=P(X∈f−1(A)∧Y∈g−1(B))=P(X∈f−1(A))⋅P(Y∈g−1(B))=P(f(X)∈A)⋅P(g(Y)∈B), \begin{aligned} \mathbb P\bigl(f(\mathbf X)\in A\land g(\mathbf Y)\in B\bigr) &= \mathbb P\bigl(\mathbf X\in f^{-1}(A)\land\mathbf Y\in g^{-1}(B)\bigr)\\ &= \mathbb P\bigl(\mathbf X\in f^{-1}(A)\bigr)\cdot\mathbb P\bigl(\mathbf Y\in g^{-1}(B)\bigr)\\ &= \mathbb P\bigl(f(\mathbf X)\in A\bigr)\cdot\mathbb P\bigl(g(\mathbf Y)\in B\bigr), \end{aligned} 即 f(X1,…,Xn)⊥g(Y1,…,Ym)f(X_1,\dots,X_n)\perp g(Y_1,\dots,Y_m)。

独立随机变量的乘积期望与方差可加性

我们在第二章 2.4 节命题 2.11 中已经证明过离散独立随机变量的乘积期望公式 E[XY]=E[X]E[Y]\mathbb E[XY]=\mathbb E[X]\mathbb E[Y] 与方差可加性;在第三章 3.4 节讨论勒贝格积分的性质时,我们曾预告过一般独立随机变量的 E[XY]=E[X]E[Y]\mathbb E[XY]=\mathbb E[X]\mathbb E[Y]。现在,我们可以从两个互补的角度给出一般情形的严格证明:既可以直接调用 4.1 节的 Fubini–Tonelli 定理一步到位,也可以兑现第三章预告的二进制离散化逼近证明!

定理 4.10 独立随机变量的乘积期望

设 XX 和 YY 是定义在 (Ω,F,P)(\Omega,\mathcal F,\mathbb P) 上的两个独立随机变量(X⊥YX\perp Y)。如果 X≥0,Y≥0X\ge 0,Y\ge 0,或者 XX 和 YY 均在 (Ω,F,P)(\Omega,\mathcal F,\mathbb P) 上可积(即 X,Y∈L1X,Y\in L^1),那么(在可积情形下乘积 XYXY 也可积,在非负情形下允许取 +∞+\infty)总有

E[XY]=E[X]⋅E[Y]. \mathbb E[XY] = \mathbb E[X]\cdot\mathbb E[Y].

更一般地,若 X1,…,XnX_1,\dots,X_n 相互独立且各自可积,则 E[∏i=1nXi]=∏i=1nE[Xi]\mathbb E\bigl[\prod_{i=1}^n X_i\bigr]=\prod_{i=1}^n\mathbb E[X_i]。

证明. 由于可积情形只需将 X=X+−X−X=X^+-X^-、Y=Y+−Y−Y=Y^+-Y^- 拆为正负部:对四个非负乘积项 X+Y+,X+Y−,X−Y+,X−Y−X^+Y^+,X^+Y^-,X^-Y^+,X^-Y^-(由命题 4.9 知每一项中的两个因子相互独立)分别应用非负情形的结论,便先由 E[∣XY∣]=E[∣X∣]E[∣Y∣]<∞\mathbb E[|XY|]=\mathbb E[|X|]\mathbb E[|Y|]<\infty 知 XY∈L1XY\in L^1,再由期望的线性性相减得到 E[XY]=E[X]E[Y]\mathbb E[XY]=\mathbb E[X]\mathbb E[Y]。因此,我们只需证明 X≥0,Y≥0X\ge 0,Y\ge 0 的情形。下面给出两种证明方法:

  • 证法一(乘积测度与 Tonelli 定理):由定理 4.8(2),独立随机变量 (X,Y)(X,Y) 在 (R2,B(R2))(\mathbb R^2,\mathcal B(\mathbb R^2)) 上的联合分布测度就是乘积测度 μX,Y=μX⊗μY\mu_{X,Y}=\mu_X\otimes\mu_Y。对 [0,∞)2[0,\infty)^2 上的非负可测函数 (x,y)↦xy(x,y)\mapsto xy 应用 Tonelli 定理(定理 4.4),直接把二重积分拆成累次积分: E[XY]=∫[0,∞)2xy (μX⊗μY)(dx dy)=(Tonelli)∫[0,∞)x(∫[0,∞)y μY(dy))μX(dx)=(∫[0,∞)x μX(dx))(∫[0,∞)y μY(dy))=E[X]⋅E[Y]. \begin{aligned} \mathbb E[XY] &= \int_{[0,\infty)^2} x y\,(\mu_X\otimes\mu_Y)(\mathrm dx\,\mathrm dy) \overset{\text{(Tonelli)}}{=} \int_{[0,\infty)} x\left(\int_{[0,\infty)} y\,\mu_Y(\mathrm dy)\right)\mu_X(\mathrm dx)\\ &= \left(\int_{[0,\infty)} x\,\mu_X(\mathrm dx)\right)\left(\int_{[0,\infty)} y\,\mu_Y(\mathrm dy)\right) = \mathbb E[X]\cdot\mathbb E[Y]. \end{aligned}
  • 证法二(第三章二进制离散化逼近):对每个 n≥1n\ge 1,构造 X,YX,Y 在 2−n2^{-n} 尺度下的二进制下逼近 X‾n:=2−n⌊2nX⌋,Y‾n:=2−n⌊2nY⌋. \underline X_n := 2^{-n}\lfloor 2^n X\rfloor,\qquad \underline Y_n := 2^{-n}\lfloor 2^n Y\rfloor. 因为映射 t↦2−n⌊2nt⌋t\mapsto 2^{-n}\lfloor 2^n t\rfloor 是分片常值 Borel 可测函数,由命题 4.9 知离散随机变量 X‾n\underline X_n 与 Y‾n\underline Y_n 依然独立!对固定 nn,记 X‾n\underline X_n 与 Y‾n\underline Y_n 的可数取值分别为 {xi}\{x_i\} 与 {yj}\{y_j\},利用 X⊥YX\perp Y 及第三章非负级数逐项积分性质(命题 3.23),离散情形的乘积期望已经在第二章命题 2.11 中证过: E[X‾nY‾n]=∑i,jxiyj P(X‾n=xi∧Y‾n=yj)=∑i,jxiyj P(X‾n=xi)⋅P(Y‾n=yj)=(∑ixi P(X‾n=xi))(∑jyj P(Y‾n=yj))=E[X‾n]⋅E[Y‾n]. \begin{aligned} \mathbb E\bigl[\underline X_n\underline Y_n\bigr] &= \sum_{i,j} x_i y_j\,\mathbb P(\underline X_n=x_i\land\underline Y_n=y_j) = \sum_{i,j} x_i y_j\,\mathbb P(\underline X_n=x_i)\cdot\mathbb P(\underline Y_n=y_j)\\ &= \left(\sum_i x_i\,\mathbb P(\underline X_n=x_i)\right)\left(\sum_j y_j\,\mathbb P(\underline Y_n=y_j)\right) = \mathbb E[\underline X_n]\cdot\mathbb E[\underline Y_n]. \end{aligned} 最后令 n→∞n\to\infty。由于 0≤X‾n↑X0\le\underline X_n\uparrow X 且 0≤Y‾n↑Y0\le\underline Y_n\uparrow Y,必有 0≤X‾nY‾n↑XY0\le\underline X_n\underline Y_n\uparrow XY;对上式两端应用单调收敛定理(MCT,定理 3.21),立得 E[XY]=E[X]⋅E[Y]\mathbb E[XY]=\mathbb E[X]\cdot\mathbb E[Y]。

一旦有了定理 4.10,我们在第二章命题 2.11 中证明过的离散两两独立随机变量方差可加性,就原封不动地推广到了任意平方可积随机变量:

推论 4.11 两两独立随机变量的方差可加性

设 X1,…,Xn∈L2(Ω,F,P)X_1,\dots,X_n\in L^2(\Omega,\mathcal F,\mathbb P) 是两两独立的随机变量(即对任意 i≠ji\ne j 有 Xi⊥XjX_i\perp X_j),则

Var⁡(∑i=1nXi)=∑i=1nVar⁡(Xi). \operatorname{Var}\left(\sum_{i=1}^n X_i\right) = \sum_{i=1}^n \operatorname{Var}(X_i).

证明. 记中心化随机变量为 X~i:=Xi−E[Xi]\widetilde X_i:=X_i-\mathbb E[X_i],则 E[X~i]=0\mathbb E[\widetilde X_i]=0 且 Var⁡(Xi)=E[X~i2]\operatorname{Var}(X_i)=\mathbb E[\widetilde X_i^2]。由命题 4.9,当 i≠ji\ne j 时 X~i\widetilde X_i 与 X~j\widetilde X_j 依然独立;再由定理 4.10 知交叉项期望满足 E[X~iX~j]=E[X~i]E[X~j]=0\mathbb E[\widetilde X_i\widetilde X_j]=\mathbb E[\widetilde X_i]\mathbb E[\widetilde X_j]=0。展开 Var⁡(∑i=1nXi)=E[(∑i=1nX~i)2]\operatorname{Var}\bigl(\sum_{i=1}^n X_i\bigr)=\mathbb E\bigl[\bigl(\sum_{i=1}^n\widetilde X_i\bigr)^2\bigr] 即得结论。

经典算例:线段和圆环上的随机撒点

学完了乘积空间、尾积分公式与独立性,我们现在就用这些工具来解决两个非常经典的几何概率问题。这一部分以及本章后续几个经典算例均取材自 William Feller 的名著 An Introduction to Probability Theory and Its Applications(第二卷)。

我们先来看第一个问题:如果在单位线段 [0,1][0,1] 上独立均匀地撒 nn 个点,把线段切成了 n+1n+1 小段,这 n+1n+1 小段的长度分布有什么关系?按理说,L1L_1 和 Ln+1L_{n+1} 一头靠着固定的端点 00 或 11,而中间的 L2,…,LnL_2,\dots,L_n 两头都是随机点,它们看起来似乎不太一样;但下面这个绝妙的对称性思想试验告诉我们:不用写哪怕一个积分号,就能看出这 n+1n+1 段的长度其实是完全同分布的!

例 4.1 (线段和圆环上的点:间距的同分布性) 在 [0,1][0,1] 线段上独立均匀地扔 nn 个点 X1,X2,…,XnX_1,X_2,\dots,X_n(即在乘积空间 ([0,1]n,B([0,1])⊗n,λ⊗n)([0,1]^n,\mathcal B([0,1])^{\otimes n},\lambda^{\otimes n}) 上取坐标函数)。我们把它们从小到大排列后记作

X(1)≤X(2)≤⋯≤X(n). X^{(1)} \le X^{(2)} \le \cdots \le X^{(n)}.

这 nn 个点把 [0,1][0,1] 分成了 n+1n+1 条小线段 [0,X(1)], [X(1),X(2)], …, [X(n−1),X(n)], [X(n),1][0,X^{(1)}],\,[X^{(1)},X^{(2)}],\,\dots,\,[X^{(n-1)},X^{(n)}],\,[X^{(n)},1]。我们分别用 L1,L2,…,Ln+1L_1,L_2,\dots,L_{n+1} 来表示这些小线段的长度,即

L1:=X(1),  L2:=X(2)−X(1),  …,  Ln:=X(n)−X(n−1),  Ln+1:=1−X(n). L_1 := X^{(1)},\; L_2 := X^{(2)}-X^{(1)},\;\dots,\; L_n := X^{(n)}-X^{(n-1)},\; L_{n+1} := 1-X^{(n)}.

现在的问题是:对于 i∈{1,2,…,n+1}i\in\{1,2,\dots,n+1\},这些间距 LiL_i 是同分布的吗?

它们确实是同分布的!我们可以做这样一个思想试验(如下图所示):假设我们在周长为 11 的圆周上独立均匀地扔 n+1n+1 个点。这 n+1n+1 个点把圆周分成了 n+1n+1 段圆弧;由于圆周具有完美的旋转对称性,哪一段弧都没有特殊地位,因此这 n+1n+1 段弧的长度一定是同分布的(事实上,它们的联合分布关于任意排列都是对称的,即具有可交换性 exchangeability)。

现在,我们随便选其中某一个点(比如扔下去的第 n+1n+1 个点),把它标记为原点 00,并把圆周从这个点剪开、拉直成一条 [0,1][0,1] 线段。从原点 00 开始按照顺时针方向依次经过的其余 nn 个点,就叫做 X(1),X(2),…,X(n)X^{(1)},X^{(2)},\dots,X^{(n)}。由于圆周上的 n+1n+1 个点是独立均匀投掷的,在剪开拉直之后,其余 nn 个点相对于剪开点的顺时针距离依然是 [0,1][0,1] 上独立均匀分布的 nn 个点!因此,圆周被分成的 n+1n+1 段弧长,与我们在 [0,1][0,1] 上直接均匀扔 nn 个点所划分出的线段长度 (L1,L2,…,Ln+1)(L_1,L_2,\dots,L_{n+1}) 具有完全相同的联合分布。既然圆周上的 n+1n+1 段弧长同分布,那么线段上的 L1,L2,…,Ln+1L_1,L_2,\dots,L_{n+1} 自然也就同分布了!

(a)周长为 1 的圆周上均匀扔 n+1 个点 剪开点 0 (1) X⁽¹⁾ X⁽²⁾ X⁽³⁾ L₁ L₂ L₃ L₄ 顺时针拉直 (b)拉直成 [0, 1] 线段上的 n 个均匀随机点 0 X⁽¹⁾ X⁽²⁾ X⁽³⁾ 1 L₁ L₂ L₃ L₄ 圆周旋转对称性 ⟹ L₁, L₂, …, Lₙ₊₁ 同分布,且 P(Lᵢ > t) = P(L₁ > t) = (1 − t)ⁿ

一旦知道 L1,L2,…,Ln+1L_1,L_2,\dots,L_{n+1} 同分布,求任意一段 LiL_i 的分布就易如反掌了:因为第一段 L1=X(1)>tL_1=X^{(1)}>t 当且仅当扔下去的所有 nn 个独立点 X1,…,XnX_1,\dots,X_n 全都落在 (t,1](t,1] 里!由 X1,…,XnX_1,\dots,X_n 的相互独立性,立刻算出对任意 t∈[0,1]t\in[0,1],

P(L1>t)=P(X1>t, X2>t, …, Xn>t)=∏j=1nP(Xj>t)=(1−t)n. \mathbb P(L_1>t) = \mathbb P(X_1>t,\,X_2>t,\,\dots,\,X_n>t) = \prod_{j=1}^n \mathbb P(X_j>t) = (1-t)^n.

由于所有的 LiL_i 都同分布,所以对每一个 i∈{1,2,…,n+1}i\in\{1,2,\dots,n+1\} 以及 t∈[0,1]t\in[0,1],都有

P(Li>t)=(1−t)n,FLi(t)=1−(1−t)n. \mathbb P(L_i>t) = (1-t)^n,\qquad F_{L_i}(t) = 1-(1-t)^n.

再顺手调用我们在 4.1 节证好的尾积分公式(命题 4.5)(或者直接用 ∑i=1n+1Li=1\sum_{i=1}^{n+1}L_i=1 与期望的线性性),马上得到每一段的平均长度为

E[Li]=∫01P(Li>t) dt=∫01(1−t)n dt=1n+1. \mathbb E[L_i] = \int_0^1 \mathbb P(L_i>t)\,\mathrm dt = \int_0^1 (1-t)^n\,\mathrm dt = \frac{1}{n+1}.

看完了上面的例子,我们马上可以追问一个看似相同、实则暗藏玄机的问题——这也是概率论中著名的等待时间悖论(waiting-time paradox)或尺寸偏置抽样(size-biased sampling)最简单的原型:

例 4.2 (包含标记点的随机圆弧有多长?) 假设我们在周长为 11 的圆环上独立均匀随机选两个点,这两个点把圆环分成了两段圆弧。根据 例 4.1(取 n=1n=1),每一段圆弧的平均长度显然都是 12\frac{1}{2}。

现在我们稍微改一下规则:我们先在圆环上事先画好一个固定的“标记点”,然后再独立均匀地随机选两个点。请问:包含了那个标记点的那段圆弧,平均有多长?

在做计算之前,你现在应该有正确的直觉了:这段弧长的平均值一定严格大于 12\frac{1}{2}!为什么呢?因为那两个随机点把圆环分成了一长一短两段弧,而事先画好的标记点落在长弧里的机会显然比落在短弧里更大——换句话说,“包含标记点”这个条件本身就偏好挑出更长的那段弧!

那它的平均长度究竟是多少呢?我们设包含标记点的这段弧长为 LL,来精确算出它的分布函数与期望。

我们可以想象直接从那个固定的标记点处把圆环剪开,拉直成一条 [0,1][0,1] 线段(于是标记点就变成了线段的两个端点 00 和 11)。此时,后扔下去的那两个随机点就变成了 [0,1][0,1] 线段上独立均匀分布的两个点 X1,X2X_1,X_2,它们把线段分成了三段 L1,L2,L3L_1,L_2,L_3(正是 例 4.1 中 n=2n=2 的情形!)。注意看:在圆环上,两头接在端点 00 和 11 上的 L1L_1 与 L3L_3 原本是拼在一起、跨过标记点的同一段弧(即 L=L1+L3L=L_1+L_3);而中间那一段 L2=[X(1),X(2)]L_2=[X^{(1)},X^{(2)}],恰恰就是圆环上不包含标记点的另一段弧!

因此,由于两段弧总长 L+L2=1L+L_2=1,利用 例 4.1 中已经算出的 P(L2>u)=(1−u)2\mathbb P(L_2>u)=(1-u)^2,对任意 t∈[0,1]t\in[0,1] 立刻得到 LL 的分布函数:

P(L≤t)=P(1−L2≤t)=P(L2≥1−t)=(1−(1−t))2=t2. \mathbb P(L\le t) = \mathbb P(1-L_2\le t) = \mathbb P(L_2\ge 1-t) = \bigl(1-(1-t)\bigr)^2 = t^2.

于是对 t∈[0,1]t\in[0,1] 有尾概率 P(L>t)=1−t2\mathbb P(L>t)=1-t^2。现在,直接调用 4.1 节的尾积分公式(命题 4.5),一行积分便算出包含标记点的圆弧平均长度为

E[L]=∫01P(L>t) dt=∫01(1−t2) dt=[t−t33]01=23>12! \mathbb E[L] = \int_0^1 \mathbb P(L>t)\,\mathrm dt = \int_0^1 (1-t^2)\,\mathrm dt = \left[t - \frac{t^3}{3}\right]_0^1 = \frac{2}{3} > \frac{1}{2} !

这个“23>12\frac{2}{3}>\frac{1}{2}”的现象在生活中比比皆是:比如公交车平均每 1010 分钟来一班,但如果发车间隔有长有短,你随机走到车站撞上的那班间隔,平均一定会大于 1010 分钟(因为你更有可能在漫长的空档期里到达车站)。我们在第五章学习泊松过程与更新过程时还会再次回访它。

4.3 联合概率密度、边缘密度与顺序统计量

在上一节里,我们已经介绍了一般随机变量的联合分布函数 FX,Y(x,y)=P(X≤x,Y≤y)F_{X,Y}(x,y)=\mathbb P(X\le x,Y\le y) 以及离散随机变量的联合质量函数 pX,Y(x,y)=P(X=x,Y=y)p_{X,Y}(x,y)=\mathbb P(X=x,Y=y)。现在,我们把第三章 3.6 节的单变量概率密度函数(pdf)推广到多个连续随机变量。

联合概率密度与边缘密度

类似一维绝对连续型随机变量的定义,假设 XX 和 YY 是定义在 (Ω,F,P)(\Omega,\mathcal F,\mathbb P) 上的两个连续随机变量。如果存在一个非负的二元 Borel 可测函数 f:R2→[0,∞)f:\mathbb R^2\to[0,\infty),满足对任意 x,y∈Rx,y\in\mathbb R 都有

FX,Y(x,y)=∫−∞y∫−∞xf(u,v) du dv, F_{X,Y}(x,y) = \int_{-\infty}^y\int_{-\infty}^x f(u,v)\,\mathrm du\,\mathrm dv,

则称 (X,Y)(X,Y) 是(二维)绝对连续的,并称 f(x,y)f(x,y)(也常记作 fX,Y(x,y)f_{X,Y}(x,y) 或 fXY(x,y)f_{XY}(x,y))是 XX 和 YY 的联合概率密度函数(joint probability density function)。

定义 4.12 联合概率密度与边缘密度函数

设二维随机向量 (X,Y):Ω→R2(X,Y):\Omega\to\mathbb R^2 的联合分布函数为 FX,Y(x,y)F_{X,Y}(x,y)。若存在非负 Borel 可测函数 fX,Y:R2→[0,∞)f_{X,Y}:\mathbb R^2\to[0,\infty) 使得对一切 x,y∈Rx,y\in\mathbb R 有

FX,Y(x,y)=∫−∞y∫−∞xfX,Y(u,v) du dv, F_{X,Y}(x,y) = \int_{-\infty}^y\int_{-\infty}^x f_{X,Y}(u,v)\,\mathrm du\,\mathrm dv,

则称 fX,Yf_{X,Y} 为 (X,Y)(X,Y) 的联合概率密度函数。此时,我们定义 XX 和 YY 的边缘密度函数(marginal density function)分别为

fX(x):=∫−∞∞fX,Y(x,y) dy,fY(y):=∫−∞∞fX,Y(x,y) dx. f_X(x) := \int_{-\infty}^\infty f_{X,Y}(x,y)\,\mathrm dy,\qquad f_Y(y) := \int_{-\infty}^\infty f_{X,Y}(x,y)\,\mathrm dx.

有了 4.1 节的乘积测度 λ⊗2=dx⊗dy\lambda^{\otimes 2}=\mathrm dx\otimes\mathrm dy 与 Fubini–Tonelli 定理,联合密度函数的几条核心性质几乎都是一目了然的:

  1. 任意 Borel 集上的概率与二维 LOTUS:和第三章定理 3.28–3.29 完全平行,我们可以先在左开右闭矩形 (a1,b1]×(a2,b2](a_1,b_1]\times(a_2,b_2] 上核对积分相等,再用单调类定理推广到全体二维 Borel 集 A∈B(R2)A\in\mathcal B(\mathbb R^2),得到 P((X,Y)∈A)=∫AfX,Y(x,y) (dx⊗dy)=∬AfX,Y(x,y) dx dy. \mathbb P\bigl((X,Y)\in A\bigr) = \int_A f_{X,Y}(x,y)\,(\mathrm dx\otimes\mathrm dy) = \iint_A f_{X,Y}(x,y)\,\mathrm dx\,\mathrm dy. 再通过二进制离散化逼近(标准机器),对任意二元 Borel 可测函数 g:R2→Rg:\mathbb R^2\to\mathbb R,只要 g(X,Y)≥0g(X,Y)\ge 0 或 g(X,Y)g(X,Y) 可积,就有二元密度积分公式: E[g(X,Y)]=∫−∞∞∫−∞∞g(x,y)fX,Y(x,y) dx dy. \mathbb E\bigl[g(X,Y)\bigr] = \int_{-\infty}^\infty\int_{-\infty}^\infty g(x,y)f_{X,Y}(x,y)\,\mathrm dx\,\mathrm dy.
  2. 混合差商与混合偏导恢复联合密度:如果联合密度 fX,Yf_{X,Y} 在点 (x,y)(x,y) 处连续,在小矩形 [x,x+h]×[y,y+k][x,x+h]\times[y,y+k] 上使用积分中值定理立得局部矩形差商极限(当 FX,YF_{X,Y} 的二阶混合偏导数在该点附近连续时即为混合偏导数): fX,Y(x,y)=lim⁡h,k→0+FX,Y(x+h,y+k)−FX,Y(x+h,y)−FX,Y(x,y+k)+FX,Y(x,y)hk=∂2∂x∂yFX,Y(x,y). \begin{aligned} f_{X,Y}(x,y) &= \lim_{h,k\to 0^+}\frac{F_{X,Y}(x+h,y+k)-F_{X,Y}(x+h,y)-F_{X,Y}(x,y+k)+F_{X,Y}(x,y)}{hk}\\ &= \frac{\partial^2}{\partial x\partial y}F_{X,Y}(x,y). \end{aligned}
  3. 边缘密度确实是边缘分布的密度:为什么把联合密度对另一个变量积分消元得到的 fX(x)=∫−∞∞fX,Y(x,y) dyf_X(x)=\int_{-\infty}^\infty f_{X,Y}(x,y)\,\mathrm dy 就是 XX 自己的概率密度函数?只需在 FX(x)=FX,Y(x,∞)F_X(x)=F_{X,Y}(x,\infty) 中调用 Tonelli 定理(因为 fX,Y≥0f_{X,Y}\ge 0): FX(x)=lim⁡y→∞FX,Y(x,y)=∫−∞∞(∫−∞xfX,Y(u,v) du)dv=(Tonelli)∫−∞x(∫−∞∞fX,Y(u,v) dv)du=∫−∞xfX(u) du. \begin{aligned} F_X(x) &= \lim_{y\to\infty}F_{X,Y}(x,y) = \int_{-\infty}^\infty\left(\int_{-\infty}^x f_{X,Y}(u,v)\,\mathrm du\right)\mathrm dv\\ &\overset{\text{(Tonelli)}}{=} \int_{-\infty}^x\left(\int_{-\infty}^\infty f_{X,Y}(u,v)\,\mathrm dv\right)\mathrm du = \int_{-\infty}^x f_X(u)\,\mathrm du. \end{aligned} 这说明 fXf_X 和 fYf_Y 实际上分别是边缘分布函数 FXF_X 和 FYF_Y 的一维概率密度函数!
x y 1 1 0 Δ = {y = x} P((X,Y) ∈ Δ) = 1 但面积 λ⊗²(Δ) = 0 !

当 X∼Unif(0,1)X\sim\mathrm{Unif}(0,1) 且 Y=XY=X 时,XX 和 YY 各自都有均匀边缘密度,但二维点 (X,Y)(X,Y) 100% 落在零面积的对角线段 Δ\Delta 上,故 (X,Y)(X,Y) 不存在二维联合密度。

反例 边缘密度均存在,但联合密度不存在

这里有一件非常值得警惕的事情:如果 (X,Y)(X,Y) 具有联合密度函数,那么它们就一定有边缘密度函数;但反过来不一定成立!

比如,设 X∼Unif(0,1)X\sim\mathrm{Unif}(0,1) 是在 (0,1)(0,1) 上均匀取的一个数,并令 Y=XY=X。显然,XX 和 YY 各自都是 (0,1)(0,1) 上的均匀随机变量,都具有非常漂亮的边缘密度函数 fX(x)=fY(x)=1(0,1)(x)f_X(x)=f_Y(x)=\mathbf 1_{(0,1)}(x)。但是,二维随机向量 (X,Y)(X,Y) 存在联合密度函数吗?不存在(why?)!

原因很简单(如右图所示):因为 Y=XY=X,随机点 (X,Y)(X,Y) 总是落在正方形 (0,1)2(0,1)^2 的主对角线段 Δ:={(x,x):x∈(0,1)}\Delta:=\{(x,x):x\in(0,1)\} 上,即 P((X,Y)∈Δ)=1\mathbb P((X,Y)\in\Delta)=1。然而在二维平面 R2\mathbb R^2 上,一条线段的二维勒贝格测度(面积)是 λ⊗2(Δ)=0\lambda^{\otimes 2}(\Delta)=0!假如 (X,Y)(X,Y) 存在联合密度函数 fX,Y(x,y)f_{X,Y}(x,y),那么在面积为 00 的集合 Δ\Delta 上积分,必然得到

P((X,Y)∈Δ)=∬ΔfX,Y(x,y) dx dy=0≠1, \mathbb P\bigl((X,Y)\in\Delta\bigr) = \iint_\Delta f_{X,Y}(x,y)\,\mathrm dx\,\mathrm dy = 0 \ne 1,

这就产生了矛盾!换句话说,(X,Y)(X,Y) 的联合分布把全部概率质量奇异地集中在了二维空间里的一条一维曲线上,因此不可能相对于二维面积测度 dx⊗dy\mathrm dx\otimes\mathrm dy 拥有密度。

那么,在联合密度确实存在的前提下,怎样用密度函数判断两个连续随机变量是否独立呢?

命题 4.13 连续随机变量独立的密度判据

设随机变量 XX 和 YY 具有联合密度函数 fX,Y(x,y)f_{X,Y}(x,y),边缘密度函数分别为 fX(x)f_X(x) 和 fY(y)f_Y(y)。则 XX 与 YY 独立(X⊥YX\perp Y),当且仅当在 R2\mathbb R^2 上几乎处处有

fX,Y(x,y)=fX(x)⋅fY(y). f_{X,Y}(x,y) = f_X(x)\cdot f_Y(y).

特别地,若 fX,Yf_{X,Y} 在点 (x,y)(x,y) 处连续(且 fX,fYf_X,f_Y 分别在 x,yx,y 处连续),则 X⊥YX\perp Y 时上式在该点严格成立。

证明. 若 fX,Y(x,y)=fX(x)fY(y)f_{X,Y}(x,y)=f_X(x)f_Y(y) 几乎处处成立,则对任意 x,y∈Rx,y\in\mathbb R,由 Tonelli 定理有

FX,Y(x,y)=∫−∞y∫−∞xfX(u)fY(v) du dv=(∫−∞xfX(u) du)(∫−∞yfY(v) dv)=FX(x)⋅FY(y), \begin{aligned} F_{X,Y}(x,y) &= \int_{-\infty}^y\int_{-\infty}^x f_X(u)f_Y(v)\,\mathrm du\,\mathrm dv\\ &= \left(\int_{-\infty}^x f_X(u)\,\mathrm du\right)\left(\int_{-\infty}^y f_Y(v)\,\mathrm dv\right) = F_X(x)\cdot F_Y(y), \end{aligned}

由定理 4.8 立知 X⊥YX\perp Y。反之,若 X⊥YX\perp Y,则 FX,Y(x,y)=FX(x)FY(y)F_{X,Y}(x,y)=F_X(x)F_Y(y),这说明乘积函数 (u,v)↦fX(u)fY(v)(u,v)\mapsto f_X(u)f_Y(v) 也是 (X,Y)(X,Y) 的一个联合密度函数(从而与 fX,Yf_{X,Y} 几乎处处相等)。特别地,在连续点处直接对局部矩形差商 FX,Y(x+h,y+k)−FX,Y(x+h,y)−FX,Y(x,y+k)+FX,Y(x,y)hk=FX(x+h)−FX(x)h⋅FY(y+k)−FY(y)k\frac{F_{X,Y}(x+h,y+k)-F_{X,Y}(x+h,y)-F_{X,Y}(x,y+k)+F_{X,Y}(x,y)}{hk}=\frac{F_X(x+h)-F_X(x)}{h}\cdot\frac{F_Y(y+k)-F_Y(y)}{k} 取 h,k→0+h,k\to 0^+ 极限,立刻看出

fX,Y(x,y)=fX(x)fY(y). f_{X,Y}(x,y) = f_X(x)f_Y(y).

经典算例:顺序统计量的分布与密度

我们在 4.2 节的 例 4.1 中已经见过:在 [0,1][0,1] 线段上独立均匀地扔 nn 个点 X1,X2,…,XnX_1,X_2,\dots,X_n,把它们从小到大排好序后记作

X(1)≤X(2)≤⋯≤X(n). X^{(1)} \le X^{(2)} \le \cdots \le X^{(n)}.

在概率论与数理统计中,这组排好序的随机变量 X(1),…,X(n)X^{(1)},\dots,X^{(n)} 称为样本的顺序统计量(order statistics):其中 X(1)=min⁡1≤i≤nXiX^{(1)}=\min_{1\le i\le n}X_i 是最小值,X(n)=max⁡1≤i≤nXiX^{(n)}=\max_{1\le i\le n}X_i 是最大值,而一般的 X(k)X^{(k)} 就是第 kk 小的值。当时我们只算了第一段间距(即最小值)L1=X(1)L_1=X^{(1)} 的分布;现在,我们来求出任意第 kk 个顺序统计量 X(k)X^{(k)} 的完整分布函数与概率密度函数,并看看当点数 n→∞n\to\infty 时它会呈现出什么极限规律!

例 4.3 (顺序统计量的分布、密度与极限) 设 X1,X2,…,Xn∼Unif[0,1]X_1,X_2,\dots,X_n\sim\mathrm{Unif}[0,1] 相互独立,记从小到大排序后的顺序统计量为 X(1)≤X(2)≤⋯≤X(n)X^{(1)}\le X^{(2)}\le\cdots\le X^{(n)}。我们来研究第 kk 小的点 X(k)X^{(k)}(1≤k≤n1\le k\le n)的分布。

首先看 X(k)X^{(k)} 的分布函数 Fk(t):=P(X(k)≤t)F_k(t):=\mathbb P(X^{(k)}\le t)(t∈[0,1]t\in[0,1])。简单思考一下就能看出来:事件“第 kk 小的点 X(k)≤tX^{(k)}\le t”发生,当且仅当扔下去的 nn 个独立点 X1,…,XnX_1,\dots,X_n 中至少有 kk 个点落在了区间 [0,t][0,t] 里!由于每个点落入 [0,t][0,t] 的概率都是 tt,落入 [0,t][0,t] 的总点数服从二项分布 Bin(n,t)\mathrm{Bin}(n,t),因此立刻写出

Fk(t)=P(X(k)≤t)=∑j=kn(nj)tj(1−t)n−j(t∈[0,1]). F_k(t) = \mathbb P\bigl(X^{(k)}\le t\bigr) = \sum_{j=k}^n \binom{n}{j} t^j (1-t)^{n-j}\qquad (t\in[0,1]).

接下来我们求 X(k)X^{(k)} 的概率密度函数 fk(t)=Fk′(t)f_k(t)=F_k'(t)。我们当然可以硬着头皮对上面那一长串和式逐项求导、再做繁琐的裂项相消;但这里如果直接从导数的定义(微元极限)来看,不用算任何代数抵消就能一眼看出 fk(t)f_k(t) 的表达式!

具体来说,对 t∈(0,1)t\in(0,1) 和充分小的 h>0h>0,根据导数定义有

fk(t)=lim⁡h→0+Fk(t+h)−Fk(t)h=lim⁡h→0+1h⋅P(X(k)∈(t,t+h]). f_k(t) = \lim_{h\to 0^+}\frac{F_k(t+h)-F_k(t)}{h} = \lim_{h\to 0^+}\frac{1}{h}\cdot\mathbb P\bigl(X^{(k)}\in(t,t+h]\bigr).

怎样才能让第 kk 小的点 X(k)X^{(k)} 恰好落在微小区间 [t,t+h][t,t+h] 里呢?(如下图所示)由于两个以上独立点同时挤进长度为 hh 的小区间 [t,t+h][t,t+h] 的概率是 O(h2)O(h^2),主部事件必然是:在 nn 个点中,恰有 11 个点落在 [t,t+h][t,t+h] 内(有 nn 种选法,概率为 hh),其余 n−1n-1 个点中恰有 k−1k-1 个点落在左边的 [0,t)[0,t) 内(有 (n−1k−1)\binom{n-1}{k-1} 种选法,每个点概率为 t+O(h)t+O(h)),剩下的 n−kn-k 个点落在右边的 (t+h,1](t+h,1] 内(每个点概率为 1−t+O(h)1-t+O(h))!

0 t t + h 1 左段 [0, t):恰有 k − 1 个点 概率因子 t^{k−1} 恰有 1 个点 X⁽ᵏ⁾ 概率因子 h 右段 (t+h, 1]:恰有 n − k 个点 概率因子 (1 − t)^{n−k}

于是,直接写出极限便得到 X(k)X^{(k)} 的概率密度函数:

fk(t)=lim⁡h→0+1h⋅P(X(k)∈[t,t+h])=lim⁡h→0+1h⋅n(n−1k−1)h⋅(t+O(h))k−1⋅(1−t+O(h))n−k=n(n−1k−1)tk−1(1−t)n−k(t∈[0,1]). \begin{aligned} f_k(t) &= \lim_{h\to 0^+}\frac{1}{h}\cdot\mathbb P\bigl(X^{(k)}\in[t,t+h]\bigr)\\ &= \lim_{h\to 0^+}\frac{1}{h}\cdot n\binom{n-1}{k-1} h\cdot\bigl(t+O(h)\bigr)^{k-1}\cdot\bigl(1-t+O(h)\bigr)^{n-k}\\ &= n\binom{n-1}{k-1} t^{k-1}(1-t)^{n-k}\qquad (t\in[0,1]). \end{aligned}

最后,我们来考察当点数 n→∞n\to\infty 时,把坐标放大 nn 倍后的随机变量 nX(k)n X^{(k)} 的分布。直观上,这等价于把区间 [0,1][0,1] 拉长成 [0,n][0,n] 并在上面均匀扔 nn 个点(平均每单位长度恰好有 11 个点),而且由 例 4.1 知 E[nX(k)]=n⋅kn+1→n→∞k\mathbb E[n X^{(k)}]=n\cdot\frac{k}{n+1}\xrightarrow{n\to\infty}k。对任意固定的 t≥0t\ge 0,当 n>tn>t 时,事件 {nX(k)>t}={X(k)>t/n}\{n X^{(k)}>t\}=\{X^{(k)}>t/n\} 意味着落在 [0,t/n][0,t/n] 里的点数严格少于 kk 个(即至多 k−1k-1 个),因此:

P(nX(k)>t)=P(X(k)>tn)=∑j=0k−1(nj)(tn)j(1−tn)n−j→n→∞∑j=0k−1tjj!e−t. \begin{aligned} \mathbb P\bigl(n X^{(k)}>t\bigr) &= \mathbb P\left(X^{(k)}>\frac{t}{n}\right) = \sum_{j=0}^{k-1}\binom{n}{j}\left(\frac{t}{n}\right)^j\left(1-\frac{t}{n}\right)^{n-j}\\ &\xrightarrow{n\to\infty} \sum_{j=0}^{k-1}\frac{t^j}{j!}e^{-t}. \end{aligned}

我们在 4.6 节和第五章马上就会看到,右端这个极限正是参数为 (k,1)(k,1) 的 Gamma 分布 Γ(k,1)\Gamma(k,1) 的尾概率!换句话说,当 nn 足够大的时候,放大后的第 kk 个顺序统计量 nX(k)n X^{(k)} 的分布会收敛到 Γ(k,1)\Gamma(k,1) 分布(即速率为 11 的泊松过程中第 kk 个到达时刻的分布)!

在概率论中,密度形如 f(t)=1B(α,β)tα−1(1−t)β−1f(t)=\frac{1}{\mathrm B(\alpha,\beta)}t^{\alpha-1}(1-t)^{\beta-1}(t∈[0,1]t\in[0,1])的分布称为 Beta 分布 Beta(α,β)\mathrm{Beta}(\alpha,\beta)。因此,均匀样本的第 kk 个顺序统计量满足 X(k)∼Beta(k,n−k+1)X^{(k)}\sim\mathrm{Beta}(k,n-k+1),且由于密度积分恒为 11,我们顺手就用概率论证出了欧拉 Beta 积分恒等式:∫01tk−1(1−t)n−k dt=1n(n−1k−1)=(k−1)!(n−k)!n!\int_0^1 t^{k-1}(1-t)^{n-k}\,\mathrm dt = \frac{1}{n\binom{n-1}{k-1}} = \frac{(k-1)!(n-k)!}{n!}。

4.4 条件分布、条件密度与连续全概率公式

我们接下来讨论多变量环境下的条件概率与条件分布(Conditional Distribution)。

我们在第一章介绍概率空间的时候就已经定义过事件的条件概率了:给定两个事件 A,B∈FA,B\in\mathcal F,如果 P(B)≠0\mathbb P(B)\ne 0,那么条件概率定义为

P(A∣B):=P(A∩B)P(B). \mathbb P(A\mid B) := \frac{\mathbb P(A\cap B)}{\mathbb P(B)}.

到了第二章 2.3 节,这个定义自然地给出了离散随机变量的条件分布与事件条件期望。具体来说,假设 XX 是一个离散随机变量,那么对于任何 Borel 可测集 A∈B(R)A\in\mathcal B(\mathbb R) 和取值 xx,只要 P(X=x)>0\mathbb P(X=x)>0,我们就可以无缝使用上面的定义得到

P(Y∈A∣X=x):=P(Y∈A∧X=x)P(X=x). \mathbb P(Y\in A\mid X=x) := \frac{\mathbb P(Y\in A\land X=x)}{\mathbb P(X=x)}.

(如果 P(X=x)=0\mathbb P(X=x)=0,这个时候 P(Y∈A∣X=x)\mathbb P(Y\in A\mid X=x) 按上式是无定义的。)同时,我们可以自然地定义出:

连续随机变量条件化的困境与微元极限

上面这套离散定义非常自然,而且我们在前两章和作业里已经多次显式或隐式地使用过了。但是,当 XX 不是离散随机变量(而是连续随机变量)的时候,这样的定义就会撞上一堵墙!

比如说,假设 XX 和 YY 是独立地从 [0,1][0,1] 中均匀取出的两个实数,那么直观上,当我们观测到 X=13X=\frac{1}{3} 时,YY 依然在 [0,1][0,1] 上均匀分布,所以我们理应有 P(Y≤12  ∣  X=13)=12\mathbb P\bigl(Y\le\frac{1}{2}\;\big|\;X=\frac{1}{3}\bigr)=\frac{1}{2}。但由于连续随机变量在任何单点上的概率都是 P(X=13)=0\mathbb P\bigl(X=\frac{1}{3}\bigr)=0,上面那个初等条件概率公式直接给出了一个形如 00\frac{0}{0} 的没有意义的式子!

因此,我们需要对连续情形下的条件概率给出新的严格定义。实际上,在现代概率论里面,条件概率是条件期望的特殊情况,而最一般(关于一个子 σ\sigma-代数)的条件期望需要用到 Radon–Nikodym 定理,我们将在第六章专门展开。今天,我们先讨论在日常计算中最常遇到的一个重要情形——即当 XX 和 YY 具有联合概率密度函数 fX,Y(x,y)f_{X,Y}(x,y) 的时候,怎样定义条件分布、条件密度与条件期望。

x y y x x+h

虽然单条竖线 {X=x}\{X=x\} 的概率为 00,但先对宽度为 hh 的窄竖条 {X∈[x,x+h]}\{X\in[x,x+h]\}(蓝框)做条件化,上下同除以 hh 再令 h→0+h\to 0^+,就自然逼近出了截面归一化密度 fX,Y(x,y)fX(x)\frac{f_{X,Y}(x,y)}{f_X(x)}。

既然单点事件 {X=x}\{X=x\} 的概率为 00,最自然的想法就是从微元近似的角度来考虑这个问题(如右图所示):我们先把条件放宽为“XX 落在一个宽度为 h>0h>0 的极小区间 [x,x+h][x,x+h] 内”,算出初等条件概率 P(Y≤y∣X∈[x,x+h])\mathbb P(Y\le y\mid X\in[x,x+h]),然后再看当 h→0+h\to 0^+ 时它会收敛到什么!

假设 fX,Yf_{X,Y} 是连续的,且边缘密度 fXf_X 在 xx 处连续、0<fX(x)<∞0<f_X(x)<\infty。对于一个很小的 h>0h>0,根据微积分基本定理,我们有

P(Y≤y  ∣  X∈[x,x+h])=∫−∞y∫xx+hfX,Y(u,v) du dv∫xx+hfX(u) du=∫−∞y(h⋅fX,Y(x,v)+o(h)) dvh⋅fX(x)+o(h)=∫−∞yfX,Y(x,v) dv+h−1∫−∞yo(h) dvfX(x)+o(1). \begin{aligned} \mathbb P\bigl(Y\le y\;\big|\;X\in[x,x+h]\bigr) &= \frac{\int_{-\infty}^y\int_x^{x+h} f_{X,Y}(u,v)\,\mathrm du\,\mathrm dv}{\int_x^{x+h} f_X(u)\,\mathrm du}\\ &= \frac{\int_{-\infty}^y \bigl(h\cdot f_{X,Y}(x,v)+o(h)\bigr)\,\mathrm dv}{h\cdot f_X(x)+o(h)}\\ &= \frac{\int_{-\infty}^y f_{X,Y}(x,v)\,\mathrm dv + h^{-1}\int_{-\infty}^y o(h)\,\mathrm dv}{f_X(x)+o(1)}. \end{aligned}

如果 fX,Yf_{X,Y} 具有一定的正则性(例如满足控制收敛定理的条件),使得误差项满足 lim⁡h→0+h−1∫−∞yo(h) dv=0\lim_{h\to 0^+}h^{-1}\int_{-\infty}^y o(h)\,\mathrm dv = 0,那么令 h→0+h\to 0^+ 时,分子分母中的宽度 hh 恰好约掉,极限就给出了

lim⁡h→0+P(Y≤y  ∣  X∈[x,x+h])=∫−∞yfX,Y(x,v)fX(x) dv! \lim_{h\to 0^+}\mathbb P\bigl(Y\le y\;\big|\;X\in[x,x+h]\bigr) = \int_{-\infty}^y \frac{f_{X,Y}(x,v)}{f_X(x)}\,\mathrm dv !

这个计算启发我们:即使 fX,Yf_{X,Y} 不一定处处连续,只要 fX(x)>0f_X(x)>0,把联合密度 fX,Y(x,y)f_{X,Y}(x,y) 在固定横坐标 xx 处的竖直截面函数 y↦fX,Y(x,y)y\mapsto f_{X,Y}(x,y) 除以该截面的总积分 fX(x)=∫−∞∞fX,Y(x,v) dvf_X(x)=\int_{-\infty}^\infty f_{X,Y}(x,v)\,\mathrm dv 重新归一化,就得到了给定 X=xX=x 时 YY 的条件密度!

定义 4.14 条件分布函数、条件密度函数与条件期望

设二维随机变量 (X,Y)(X,Y) 具有联合概率密度函数 fX,Y(x,y)f_{X,Y}(x,y),XX 的边缘密度函数为 fX(x)=∫−∞∞fX,Y(x,v) dvf_X(x)=\int_{-\infty}^\infty f_{X,Y}(x,v)\,\mathrm dv。

  1. (条件概率密度函数) 定义给定 X=xX=x 时 YY 的条件概率密度函数(conditional pdf)为 fY∣X(y∣x):={fX,Y(x,y)fX(x),若 fX(x)>0,0,若 fX(x)=0. f_{Y\mid X}(y\mid x) := \begin{cases} \dfrac{f_{X,Y}(x,y)}{f_X(x)}, & \text{若 } f_X(x)>0,\\[6pt] 0, & \text{若 } f_X(x)=0. \end{cases}
  2. (条件分布函数) 对应的条件分布函数(conditional cdf)定义为 FY∣X(y∣x):=∫−∞yfY∣X(v∣x) dv={∫−∞yfX,Y(x,v)fX(x) dv,若 fX(x)>0,0,若 fX(x)=0; F_{Y\mid X}(y\mid x) := \int_{-\infty}^y f_{Y\mid X}(v\mid x)\,\mathrm dv = \begin{cases} \displaystyle\int_{-\infty}^y \frac{f_{X,Y}(x,v)}{f_X(x)}\,\mathrm dv, & \text{若 } f_X(x)>0,\\[8pt] 0, & \text{若 } f_X(x)=0; \end{cases} 更一般地,对任意 Borel 集 A∈B(R)A\in\mathcal B(\mathbb R),定义条件概率 P(Y∈A∣X=x):=∫AfY∣X(y∣x) dy\mathbb P(Y\in A\mid X=x):=\int_A f_{Y\mid X}(y\mid x)\,\mathrm dy。
  3. (条件期望) 当 ∫−∞∞∣y∣fY∣X(y∣x) dy<∞\int_{-\infty}^\infty|y|f_{Y\mid X}(y\mid x)\,\mathrm dy<\infty(或当 Y≥0Y\ge 0)时,定义给定 X=xX=x 时 YY 的条件期望为 E[Y∣X=x]:=∫−∞∞y fY∣X(y∣x) dy. \mathbb E[Y\mid X=x] := \int_{-\infty}^\infty y\,f_{Y\mid X}(y\mid x)\,\mathrm dy.

容易验证:只要 fX(x)>0f_X(x)>0,条件密度 y↦fY∣X(y∣x)y\mapsto f_{Y\mid X}(y\mid x) 非负且在 R\mathbb R 上对 yy 积分恰为 ∫RfX,Y(x,y)fX(x) dy=fX(x)fX(x)=1\int_{\mathbb R}\frac{f_{X,Y}(x,y)}{f_X(x)}\,\mathrm dy = \frac{f_X(x)}{f_X(x)} = 1,所以它确实是一个合法的一维概率密度函数!特别地,若 X⊥YX\perp Y,则由命题 4.13 有 fY∣X(y∣x)=fX(x)fY(y)fX(x)=fY(y)f_{Y\mid X}(y\mid x)=\frac{f_X(x)f_Y(y)}{f_X(x)}=f_Y(y),即独立时条件分布就退化为边缘分布。

条件期望是一个在整个概率论中极其核心的概念——我们在第六章会专门建立一般条件期望的公理化定义与正交投影性质,并证明定义 4.14 中的积分公式恰好是那里一般条件期望在连续密度下的特例。今天,我们先用 4.1 节的 Fubini–Tonelli 定理验证一件非常实用的事情:我们在第一章和第二章反复使用的全概率公式与全期望公式,对于具有联合密度的连续随机变量同样完美成立!

命题 4.15 连续版本的全概率公式与全期望公式

设 (X,Y)(X,Y) 具有联合密度函数 fX,Y(x,y)f_{X,Y}(x,y),则:

  1. (连续全概率公式) 对任意 Borel 集 A,B∈B(R)A,B\in\mathcal B(\mathbb R),有 P(Y∈A∧X∈B)=∫B(∫AfY∣X(y∣x) dy)fX(x) dx=∫BP(Y∈A∣X=x)fX(x) dx. \begin{aligned} \mathbb P(Y\in A\land X\in B) &= \int_B\left(\int_A f_{Y\mid X}(y\mid x)\,\mathrm dy\right)f_X(x)\,\mathrm dx\\ &= \int_B \mathbb P(Y\in A\mid X=x)f_X(x)\,\mathrm dx. \end{aligned} 特别地,取 B=RB=\mathbb R 即得 P(Y∈A)=∫−∞∞(∫AfY∣X(y∣x) dy)fX(x) dx=∫−∞∞P(Y∈A∣X=x)fX(x) dx. \begin{aligned} \mathbb P(Y\in A) &= \int_{-\infty}^\infty\left(\int_A f_{Y\mid X}(y\mid x)\,\mathrm dy\right)f_X(x)\,\mathrm dx\\ &= \int_{-\infty}^\infty \mathbb P(Y\in A\mid X=x)f_X(x)\,\mathrm dx. \end{aligned}
  2. (连续全期望公式) 若 YY 可积(或 Y≥0Y\ge 0),则 E[Y]=∫−∞∞E[Y∣X=x] fX(x) dx. \mathbb E[Y] = \int_{-\infty}^\infty \mathbb E[Y\mid X=x]\,f_X(x)\,\mathrm dx.

证明. 我们仅需要把定义 4.14 代进去,并使用 Fubini–Tonelli 定理(定理 4.4)交换积分顺序即可证明。注意到在 {x∈R:fX(x)=0}\{x\in\mathbb R:f_X(x)=0\} 上必有 ∫−∞∞fX,Y(x,y) dy=0\int_{-\infty}^\infty f_{X,Y}(x,y)\,\mathrm dy=0,故对几乎处处的 yy 都有 fX,Y(x,y)=0f_{X,Y}(x,y)=0,因此恒有 fY∣X(y∣x)fX(x)=fX,Y(x,y)f_{Y\mid X}(y\mid x)f_X(x)=f_{X,Y}(x,y)。于是对任意 A∈B(R)A\in\mathcal B(\mathbb R),

∫−∞∞(∫AfY∣X(y∣x) dy)fX(x) dx=∫−∞∞∫AfX,Y(x,y)fX(x)⋅fX(x) dy dx=∫−∞∞∫AfX,Y(x,y) dy dx=(Tonelli)∫A(∫−∞∞fX,Y(x,y) dx)dy=∫AfY(y) dy=P(Y∈A). \begin{aligned} \int_{-\infty}^\infty\left(\int_A f_{Y\mid X}(y\mid x)\,\mathrm dy\right)f_X(x)\,\mathrm dx &= \int_{-\infty}^\infty\int_A \frac{f_{X,Y}(x,y)}{f_X(x)}\cdot f_X(x)\,\mathrm dy\,\mathrm dx\\ &= \int_{-\infty}^\infty\int_A f_{X,Y}(x,y)\,\mathrm dy\,\mathrm dx\\ &\overset{\text{(Tonelli)}}{=} \int_A\left(\int_{-\infty}^\infty f_{X,Y}(x,y)\,\mathrm dx\right)\mathrm dy\\ &= \int_A f_Y(y)\,\mathrm dy = \mathbb P(Y\in A). \end{aligned}

将外层积分区域限制在 B∈B(R)B\in\mathcal B(\mathbb R) 上即得更一般的 P(Y∈A∧X∈B)\mathbb P(Y\in A\land X\in B) 公式;将指示函数 1A(y)\mathbf 1_A(y) 替换为可积函数 yy 并调用 Fubini 定理,立得连续全期望公式 E[Y]=∫−∞∞E[Y∣X=x]fX(x) dx\mathbb E[Y]=\int_{-\infty}^\infty\mathbb E[Y\mid X=x]f_X(x)\,\mathrm dx。

经典算例:几何条件密度与贝叶斯均匀先验抛硬币

为了直观体会定义 4.14 与命题 4.15 的计算威力,我们来看两个简洁而经典的例子:第一个例子展示几何区域上的均匀分布如何通过竖直截面归一化给出条件密度;第二个例子展示当试验参数本身是一个连续随机变量时,如何用连续全概率公式对未知参数积分消元。

例 4.4 (三角形区域上的条件分布与拉普拉斯继起法则) (1)单位下三角形上的二维均匀分布:边缘密度不均匀,但条件密度均匀

设二维随机点 (X,Y)(X,Y) 在平面上的单位下三角区域 D:={(x,y)∈R2:0<y<x<1}D:=\{(x,y)\in\mathbb R^2: 0<y<x<1\} 上服从均匀分布。因为三角形 DD 的面积为 12\frac{1}{2},所以 (X,Y)(X,Y) 的联合概率密度函数为

fX,Y(x,y)=2⋅1{0<y<x<1}(x,y). f_{X,Y}(x,y) = 2\cdot\mathbf 1_{\{0<y<x<1\}}(x,y).

我们先求横坐标 XX 的边缘密度函数 fX(x)f_X(x):当 x∈(0,1)x\in(0,1) 固定时,纵坐标 yy 在 (0,x)(0,x) 内变化,因此积分消去 yy 得

fX(x)=∫−∞∞fX,Y(x,y) dy=∫0x2 dy=2x(x∈(0,1)). f_X(x) = \int_{-\infty}^\infty f_{X,Y}(x,y)\,\mathrm dy = \int_0^x 2\,\mathrm dy = 2x\qquad\bigl(x\in(0,1)\bigr).

注意:虽然点 (X,Y)(X,Y) 在整个三角形内是均匀分布的,但横坐标 XX 的边缘密度 fX(x)=2xf_X(x)=2x 并不是均匀分布(越靠右竖截线段越长,落在那里的概率密度越大)!

现在,在给定横坐标 X=x∈(0,1)X=x\in(0,1) 的条件下,纵坐标 YY 的条件密度函数是什么呢?代入定义 4.14,立得

fY∣X(y∣x)=fX,Y(x,y)fX(x)=2⋅1(0,x)(y)2x=1x1(0,x)(y). f_{Y\mid X}(y\mid x) = \frac{f_{X,Y}(x,y)}{f_X(x)} = \frac{2\cdot\mathbf 1_{(0,x)}(y)}{2x} = \frac{1}{x}\mathbf 1_{(0,x)}(y).

几何上这再自然不过了:一旦把横坐标固定在竖直线 X=xX=x 上,随机点 (X,Y)(X,Y) 的纵坐标 YY 就在长度为 xx 的竖截线段 (0,x)(0,x) 上服从一维均匀分布 Unif(0,x)\mathrm{Unif}(0,x)!因此,给定 X=xX=x 时 YY 的条件期望就是这条竖截线段的中点:

E[Y∣X=x]=∫0xy⋅1x dy=x2. \mathbb E[Y\mid X=x] = \int_0^x y\cdot\frac{1}{x}\,\mathrm dy = \frac{x}{2}.

再调用连续全期望公式(命题 4.15)把条件期望对 fX(x)=2xf_X(x)=2x 积分起来,一行便算出 YY 的无条件期望:

E[Y]=∫01E[Y∣X=x] fX(x) dx=∫01x2⋅2x dx=∫01x2 dx=13, \mathbb E[Y] = \int_0^1 \mathbb E[Y\mid X=x]\,f_X(x)\,\mathrm dx = \int_0^1 \frac{x}{2}\cdot 2x\,\mathrm dx = \int_0^1 x^2\,\mathrm dx = \frac{1}{3},

这恰好就是三角形重心 (2/3,1/3)(2/3, 1/3) 的纵坐标!

(2)贝叶斯均匀先验抛硬币与拉普拉斯继起法则(Laplace’s Rule of Succession)

假设口袋里有一枚不知质地是否均匀的硬币,其正面朝上的概率 P∼Unif[0,1]P\sim\mathrm{Unif}[0,1] 是一个在 [0,1][0,1] 上均匀分布的连续随机变量(先验密度 fP(p)=1[0,1](p)f_P(p)=\mathbf 1_{[0,1]}(p))。在选定硬币(即给定 P=pP=p)的条件下,我们将这枚硬币独立投掷 nn 次,记正面总次数为 SnS_n,则条件分布为二项分布 Bin(n,p)\mathrm{Bin}(n,p):

P(Sn=k∣P=p)=(nk)pk(1−p)n−k(k=0,1,…,n). \mathbb P(S_n=k\mid P=p) = \binom{n}{k}p^k(1-p)^{n-k}\qquad (k=0,1,\dots,n).

(若把每次伯努利投掷实现为独立均匀阈值 Ui∼Unif[0,1]U_i\sim\mathrm{Unif}[0,1] 下的指示事件 Xi=1{Ui≤P}X_i=\mathbf 1_{\{U_i\le P\}},则 (P,U1,…,Un)(P,U_1,\dots,U_n) 具有连续联合密度,完全处于命题 4.15 的适用范围内。)

请问:在不事先知道 PP 的数值时,投掷 nn 次恰好出现 kk 次正面的无条件概率 P(Sn=k)\mathbb P(S_n=k) 是多少?

直接调用连续全概率公式(命题 4.15)对 PP 的密度 fP(p)=1f_P(p)=1 积分,并利用我们在 4.3 节 例 4.3 末尾算出的顺序统计量密度归一化恒等式 ∫01(nk)pk(1−p)n−k dp=1n+1\int_0^1\binom{n}{k}p^k(1-p)^{n-k}\,\mathrm dp = \frac{1}{n+1},立刻得到

P(Sn=k)=∫01P(Sn=k∣P=p)fP(p) dp=∫01(nk)pk(1−p)n−k dp=1n+1(k=0,1,…,n)! \begin{aligned} \mathbb P(S_n=k) &= \int_0^1 \mathbb P(S_n=k\mid P=p)f_P(p)\,\mathrm dp\\ &= \int_0^1 \binom{n}{k}p^k(1-p)^{n-k}\,\mathrm dp = \frac{1}{n+1}\qquad (k=0,1,\dots,n) ! \end{aligned}

这个结论初看非常令人惊讶:当硬币偏置 P∼Unif[0,1]P\sim\mathrm{Unif}[0,1] 时,无论抛多少次,正面总次数 SnS_n 在 {0,1,…,n}\{0,1,\dots,n\} 这 n+1n+1 个取值上居然是完全等可能的离散均匀分布!特别地,如果前 nn 次投掷观测到全部正面朝上(事件 {Sn=n}\{S_n=n\},概率为 1n+1\frac{1}{n+1}),那么第 n+1n+1 次继续抛得正面的条件概率就是著名的拉普拉斯继起法则:

P(Xn+1=1∣Sn=n)=P(Sn+1=n+1)P(Sn=n)=1/(n+2)1/(n+1)=n+1n+2. \mathbb P(X_{n+1}=1\mid S_n=n) = \frac{\mathbb P(S_{n+1}=n+1)}{\mathbb P(S_n=n)} = \frac{1/(n+2)}{1/(n+1)} = \frac{n+1}{n+2}.

4.5 多元积分换元与极坐标算例

在前面的 4.2 至 4.4 节里,我们学会了怎样静态地描述多个随机变量 (X,Y)(X,Y) 的联合分布、边缘分布与条件分布。从这一节和下一节开始,我们进入一个动态的核心故事——随机变量的变换与合成:假设我们已经知道了随机变量 XX 和 YY(或者一族独立随机变量 X1,…,XnX_1,\dots,X_n)的分布,当我们对它们做几何或代数运算——比如转到极坐标 (R,Θ)(R,\Theta)、求两个随机变量的和 X+YX+Y、求一串随机变量的连乘积 ∏i=1nXi\prod_{i=1}^n X_i——生成的新随机变量服从什么分布?

我们先来解决最一般的光滑坐标变换问题:假设已知随机变量 XX 和 YY 的联合密度函数 fX,Y(x,y)f_{X,Y}(x,y),那么对于由它们经过某个光滑变换生成的新随机变量

(U,V)=g(X,Y)=(g1(X,Y), g2(X,Y)), (U,V) = g(X,Y) = \bigl(g_1(X,Y),\,g_2(X,Y)\bigr),

新随机变量 (U,V)(U,V) 的联合密度函数 fU,V(u,v)f_{U,V}(u,v) 是什么?

雅可比行列式与多元换元公式

在写一般换元公式之前,我们先做一个最简单的一维热身算例。设 X∼Unif(0,1)X\sim\mathrm{Unif}(0,1) 在 (0,1)(0,1) 上具有均匀密度 fX(x)=1(0,1)(x)f_X(x)=\mathbf 1_{(0,1)}(x),考察严格递减的非线性变换

U:=g(X)=−log⁡X∈(0,∞). U := g(X) = -\log X \in (0,\infty).

新随机变量 UU 的概率密度函数 fU(u)f_U(u) 是什么?如果有人不假思索地把逆关系 x=e−ux=e^{-u} 直接塞进原来的密度 fX(x)=1f_X(x)=1 里,写出“fU(u)=fX(e−u)=1f_U(u)=f_X(e^{-u})=1(u>0u>0)”,那就大错特错了——因为常数 11 在 (0,∞)(0,\infty) 上的积分是 +∞+\infty,根本不是概率密度!

那正确的密度怎么求?在一维且严格单调的情形下,我们可以先求分布函数 FU(u)F_U(u),再对 uu 求导。对任意 u>0u>0,注意 x↦−log⁡xx\mapsto-\log x 是严格递减的,不等号方向会发生翻转:

FU(u)=P(U≤u)=P(−log⁡X≤u)=P(X≥e−u)=1−e−u, F_U(u) = \mathbb P(U\le u) = \mathbb P(-\log X\le u) = \mathbb P\bigl(X\ge e^{-u}\bigr) = 1 - e^{-u},

对 uu 求导立得 fU(u)=FU′(u)=e−uf_U(u)=F_U'(u)=e^{-u}(u>0u>0),即 U=−log⁡X∼Exp(1)U=-\log X\sim\mathrm{Exp}(1) 服从速率为 11 的标准指数分布!

这个热身例子立刻引出了两个值得深思的问题:

  1. 刚才多出来的那个关键因子 e−ue^{-u},本质上是从哪里来的?(注意 e−u=∣ddu(e−u)∣=∣(g−1)′(u)∣e^{-u}=\bigl|\frac{\mathrm d}{\mathrm du}(e^{-u})\bigr|=\lvert(g^{-1})'(u)\rvert!)
  2. 在一维单调递减时,我们可以靠翻转不等号写 1−FX(g−1(u))1-F_X(g^{-1}(u)) 来绕弯路;但如果 gg 不是单调的,或者到了二维、高维空间 (U,V)=g(X,Y)(U,V)=g(X,Y)(平面上根本没有“大于等于”的线性序来让我们翻转不等号写 1−F1-F!),我们怎样才能不经过分布函数、直接建立 fX,Yf_{X,Y} 与 fU,Vf_{U,V} 之间的密度换元公式?

为了正面回答这两个问题,我们回到第三章建立的期望测试函数方法(一维 LOTUS)。设一维连续随机变量 XX 在开区间 I=(a,b)⊆RI=(a,b)\subseteq\mathbb R 上有密度 fX(x)f_X(x),g:I→Jg:I\to J 是严格单调、连续可微且满足 g′(x)≠0g'(x)\ne 0(∀x∈I\forall x\in I)的双射(逆函数为 x=g−1(u)x=g^{-1}(u))。对任意有界可测(或非负)的测试函数 ϕ:J→R\phi:J\to\mathbb R,用两种方式计算期望 E[ϕ(U)]\mathbb E[\phi(U)]:

∫Jϕ(u)fU(u) du=E[ϕ(U)]=E[ϕ(g(X))]=∫Iϕ(g(x))fX(x) dx. \int_J \phi(u) f_U(u)\,\mathrm du = \mathbb E\bigl[\phi(U)\bigr] = \mathbb E\bigl[\phi\bigl(g(X)\bigr)\bigr] = \int_I \phi\bigl(g(x)\bigr) f_X(x)\,\mathrm dx.

左端是集合 JJ 上关于一维勒贝格测度 λ(du)=du\lambda(\mathrm du)=\mathrm du 的积分 ∫Jψ(u) du\int_J\psi(u)\,\mathrm du(其中 ψ(u):=ϕ(u)fU(u)\psi(u):=\phi(u)f_U(u)),右端是集合 II 上关于 λ(dx)=dx\lambda(\mathrm dx)=\mathrm dx 的积分。当我们令 u=g(x)u=g(x) 把左端换元到 II 上时,为什么换元公式

∫Jψ(u) du=∫Iψ(g(x)) ∣g′(x)∣ dx \int_J \psi(u)\,\mathrm du = \int_I \psi\bigl(g(x)\bigr)\,\bigl|g'(x)\bigr|\,\mathrm dx

里面必须带绝对值 ∣g′(x)∣|g'(x)|,而不是直接写导数 g′(x)g'(x)?我们可以从两个完全等价的视角把这件事看透:

把 ψ(u)=ϕ(u)fU(u)\psi(u)=\phi(u)f_U(u) 代入,利用测试函数 ϕ\phi 的任意性对比 II 上的被积函数,就得到一维密度换元公式:

fX(x)=fU(g(x))⋅∣g′(x)∣,fU(u)=fX(g−1(u))⋅∣(g−1)′(u)∣=fX(g−1(u))∣g′(g−1(u))∣. \begin{aligned} f_X(x) &= f_U\bigl(g(x)\bigr)\cdot\bigl|g'(x)\bigr|,\\ f_U(u) &= f_X\bigl(g^{-1}(u)\bigr)\cdot\bigl|(g^{-1})'(u)\bigr| = \frac{f_X\bigl(g^{-1}(u)\bigr)}{\bigl|g'\bigl(g^{-1}(u)\bigr)\bigr|}. \end{aligned}

这句几何口诀值得牢牢记住:概率密度函数本身不是概率,“密度 ×\times 测度微元 dx\mathrm dx”才是微元概率 fU(u) du=fX(x) dxf_U(u)\,\mathrm du = f_X(x)\,\mathrm dx!(回看刚才的热身例子 u=−log⁡xu=-\log x:g′(x)=−1/xg'(x)=-1/x,故 fU(u)=fX(e−u)/∣−1/e−u∣=e−uf_U(u)=f_X(e^{-u})/\lvert -1/e^{-u}\rvert = e^{-u},无需翻转不等号求导,一行秒杀!)

现在我们把这套思想推广到二维(以及一般的 nn 维)空间。假设开集 D⊆R2D\subseteq\mathbb R^2 满足 P((X,Y)∈D)=1\mathbb P((X,Y)\in D)=1,映射 g=(g1,g2):D→Ω′g=(g_1,g_2):D\to\Omega' 是从 DD 到开集 Ω′⊆R2\Omega'\subseteq\mathbb R^2 上的双射(逆映射为 (x,y)=g−1(u,v)(x,y)=g^{-1}(u,v)),且 gg 与 g−1g^{-1} 均连续可微(数学分析中称 gg 为 DD 到 Ω′\Omega' 的微分同胚 diffeomorphism)。

对于任意有界可测(或非负)的测试函数 ϕ:Ω′→R\phi:\Omega'\to\mathbb R,我们在二维乘积勒贝格测度 λ⊗2=dx⊗dy\lambda^{\otimes 2}=\mathrm dx\otimes\mathrm dy 下用两种方法计算期望 E[ϕ(U,V)]\mathbb E[\phi(U,V)]:

∬Ω′ϕ(u,v)fU,V(u,v) (du⊗dv)=E[ϕ(U,V)]=E[ϕ(g(X,Y))]=∬Dϕ(g(x,y))fX,Y(x,y) (dx⊗dy). \begin{aligned} \iint_{\Omega'} \phi(u,v) f_{U,V}(u,v)\,(\mathrm du\otimes\mathrm dv) &= \mathbb E\bigl[\phi(U,V)\bigr] = \mathbb E\bigl[\phi\bigl(g(X,Y)\bigr)\bigr]\\ &= \iint_D \phi\bigl(g(x,y)\bigr) f_{X,Y}(x,y)\,(\mathrm dx\otimes\mathrm dy). \end{aligned}

关键问题来了:当把左端 Ω′\Omega' 上关于乘积测度 du⊗dv\mathrm du\otimes\mathrm dv 的积分 ∬Ω′ψ(u,v) (du⊗dv)\iint_{\Omega'}\psi(u,v)\,(\mathrm du\otimes\mathrm dv) 通过 (u,v)=g(x,y)(u,v)=g(x,y) 换元到原区域 DD 上时,二维面积微元的拉伸倍率是什么?

依然用“标准机器”的第一步:先看左图 DD 中一个平行于 x,yx,y 轴的微小正交矩形 R=[x,x+dx]×[y,y+dy]R=[x,x+\mathrm dx]\times[y,y+\mathrm dy] 的像集指示函数 ψ(u,v)=1g(R)(u,v)\psi(u,v)=\mathbf 1_{g(R)}(u,v)!

原坐标平面 (D, dx ⊗ dy) x y D (x, y) (dx, 0) (0, dy) 正交矩形 R λ⊗²(R) = dx dy (u, v) = g(x, y) 一阶泰勒线性化 (x, y) = g⁻¹(u, v) 新坐标平面 (Ω′, du ⊗ dv) u v Ω′ (u, v) = g(x, y) (∂g₁/∂x, ∂g₂/∂x) dx (∂g₁/∂y, ∂g₂/∂y) dy 像集 g(R) 的面积 λ⊗²(g(R)) ≈ |det Jg| dx dy

如上图所示,通过一阶泰勒展开,正交小矩形 RR 的两条正交边向量 (dx,0)(\mathrm dx,0) 与 (0,dy)(0,\mathrm dy) 被映射 g=(g1,g2)g=(g_1,g_2) 线性化成了 (u,v)(u,v) 平面上的两条切向量

a⃗≈(∂g1∂x, ∂g2∂x)dx,b⃗≈(∂g1∂y, ∂g2∂y)dy, \vec a \approx \left(\frac{\partial g_1}{\partial x},\,\frac{\partial g_2}{\partial x}\right)\mathrm dx,\qquad \vec b \approx \left(\frac{\partial g_1}{\partial y},\,\frac{\partial g_2}{\partial y}\right)\mathrm dy,

从而像集 g(R)⊆Ω′g(R)\subseteq\Omega' 在 (u,v)(u,v) 平面上是一个由 a⃗,b⃗\vec a,\vec b 张成的斜平行四边形。当我们在新平面 Ω′\Omega' 上用标准乘积测度 λ⊗2=du⊗dv\lambda^{\otimes 2}=\mathrm du\otimes\mathrm dv(见右图背景的正交小方格)去度量这个斜平行四边形 g(R)g(R) 的面积时,由线性代数可知,两个列向量 a⃗,b⃗\vec a,\vec b 张成的平行四边形的无向几何面积,恰好等于映射 gg 在点 (x,y)(x,y) 处的雅可比矩阵(Jacobian matrix)

Jg(x,y):=(∂g1∂x∂g1∂y∂g2∂x∂g2∂y) J_g(x,y) := \begin{pmatrix} \dfrac{\partial g_1}{\partial x} & \dfrac{\partial g_1}{\partial y} \\[8pt] \dfrac{\partial g_2}{\partial x} & \dfrac{\partial g_2}{\partial y} \end{pmatrix}

的雅可比行列式(Jacobian determinant)的绝对值乘以 dx dy\mathrm dx\,\mathrm dy:

∬Ω′1g(R)(u,v) (du⊗dv)=λ⊗2(g(R))≈∣det⁡Jg(x,y)∣ dx dy. \iint_{\Omega'} \mathbf 1_{g(R)}(u,v)\,(\mathrm du\otimes\mathrm dv) = \lambda^{\otimes 2}\bigl(g(R)\bigr) \approx \bigl|\det J_g(x,y)\bigr|\,\mathrm dx\,\mathrm dy.

(这里取绝对值 ∣det⁡Jg∣|\det J_g| 的原因和一维完全一致:行列式 det⁡Jg\det J_g 的正负号代表切向量对 a⃗,b⃗\vec a,\vec b 是右手系还是左手系镜像翻转,而乘积测度 λ⊗2(g(R))\lambda^{\otimes 2}(g(R)) 度量的是集合的无向面积,永远非负!)再由“标准机器”从指示函数推广到一般可测函数 ψ(u,v)=ϕ(u,v)fU,V(u,v)\psi(u,v)=\phi(u,v)f_{U,V}(u,v),便有

∬Ω′ϕ(u,v)fU,V(u,v) du dv=∬Dϕ(g(x,y))fU,V(g(x,y)) ∣det⁡Jg(x,y)∣ dx dy. \iint_{\Omega'} \phi(u,v) f_{U,V}(u,v)\,\mathrm du\,\mathrm dv = \iint_D \phi\bigl(g(x,y)\bigr) f_{U,V}\bigl(g(x,y)\bigr)\,\bigl|\det J_g(x,y)\bigr|\,\mathrm dx\,\mathrm dy.

由于对任意测试函数 ϕ\phi 上式都等于 ∬Dϕ(g(x,y))fX,Y(x,y) dx dy\iint_D\phi(g(x,y))f_{X,Y}(x,y)\,\mathrm dx\,\mathrm dy,对比被积函数就立刻得到了多元密度换元公式:

命题 4.16 多元联合密度的雅可比换元公式

设随机向量 (X,Y)(X,Y) 在开集 D⊆R2D\subseteq\mathbb R^2(P((X,Y)∈D)=1\mathbb P((X,Y)\in D)=1)上具有联合密度 fX,Y(x,y)f_{X,Y}(x,y),g:D→Ω′g:D\to\Omega' 是到开集 Ω′⊆R2\Omega'\subseteq\mathbb R^2 的连续可微双射,且在 DD 上雅可比行列式 det⁡Jg(x,y)≠0\det J_g(x,y)\ne 0。则新随机向量 (U,V)=g(X,Y)(U,V)=g(X,Y) 的联合密度 fU,Vf_{U,V} 满足

fX,Y(x,y)=fU,V(g(x,y))⋅∣det⁡Jg(x,y)∣((x,y)∈D), f_{X,Y}(x,y) = f_{U,V}\bigl(g(x,y)\bigr)\cdot\bigl|\det J_g(x,y)\bigr|\qquad\bigl((x,y)\in D\bigr),

或者等价地,用逆变换 (x,y)=g−1(u,v)(x,y)=g^{-1}(u,v) 直接写出 (U,V)(U,V) 在 Ω′\Omega' 上的联合密度:

fU,V(u,v)=fX,Y(g−1(u,v))⋅∣det⁡Jg−1(u,v)∣=fX,Y(g−1(u,v))∣det⁡Jg(g−1(u,v))∣((u,v)∈Ω′). f_{U,V}(u,v) = f_{X,Y}\bigl(g^{-1}(u,v)\bigr)\cdot\bigl|\det J_{g^{-1}}(u,v)\bigr| = \frac{f_{X,Y}\bigl(g^{-1}(u,v)\bigr)}{\bigl|\det J_g\bigl(g^{-1}(u,v)\bigr)\bigr|}\qquad\bigl((u,v)\in\Omega'\bigr).

在具体的换元计算中,写 fX,Y(x,y)=fU,V(g(x,y))∣det⁡Jg(x,y)∣f_{X,Y}(x,y) = f_{U,V}(g(x,y))|\det J_g(x,y)| 还是写它的逆形式,完全看哪一边的偏导数更好算!比如算极坐标 (X,Y)=(Rcos⁡Θ,Rsin⁡Θ)(X,Y)=(R\cos\Theta,R\sin\Theta) 时,把 (X,Y)(X,Y) 写成 (R,Θ)(R,\Theta) 的函数来求导显然比对 x2+y2\sqrt{x^2+y^2} 和 arctan⁡(y/x)\arctan(y/x) 求导轻松得多。

经典算例:极坐标换元、高斯积分与正态旋转对称性

有了命题 4.16 和 4.1 节的 Tonelli 定理,我们现在可以一举解决两个经典问题:第一,严格算出标准正态分布密度里的归一化常数 ∫−∞∞e−x2/2 dx=2π\int_{-\infty}^\infty e^{-x^2/2}\,\mathrm dx=\sqrt{2\pi};第二,揭示二维独立标准正态向量 (X,Y)(X,Y) 的极坐标结构与旋转对称性!

例 4.5 (极坐标换元:高斯积分与二维标准正态的旋转对称性) 第一步:用乘积空间与极坐标换元计算高斯积分 I=∫−∞∞e−x2/2 dx=2πI=\int_{-\infty}^\infty e^{-x^2/2}\,\mathrm dx=\sqrt{2\pi}。

我们在第三章介绍标准高斯(正态)分布 N(0,1)\mathcal N(0,1) 时,曾给出它的概率密度函数为 ϕ(x)=12πe−x2/2\phi(x)=\frac{1}{\sqrt{2\pi}}e^{-x^2/2}。为什么分母里会冒出一个圆周率 2π\sqrt{2\pi} 呢?这是因为 e−x2/2e^{-x^2/2} 的不定积分不是初等函数,没法直接用牛顿–莱布尼茨公式算定积分

I:=∫−∞∞e−x2/2 dx. I := \int_{-\infty}^\infty e^{-x^2/2}\,\mathrm dx.

但数学分析课教过我们一个绝妙的升维技巧:虽然一维的 II 不好算,但把两个一维积分乘起来变成二维平面上的二重积分,I2I^2 就非常好算了!具体来说,因为 e−x2/2>0e^{-x^2/2}>0,应用 Tonelli 定理(定理 4.4)把乘积合成为 R2\mathbb R^2 上的二重积分:

I2=(∫−∞∞e−x2/2 dx)(∫−∞∞e−y2/2 dy)=(Tonelli)∫−∞∞∫−∞∞e−(x2+y2)/2 dx dy. I^2 = \left(\int_{-\infty}^\infty e^{-x^2/2}\,\mathrm dx\right)\left(\int_{-\infty}^\infty e^{-y^2/2}\,\mathrm dy\right) \overset{\text{(Tonelli)}}{=} \int_{-\infty}^\infty\int_{-\infty}^\infty e^{-(x^2+y^2)/2}\,\mathrm dx\,\mathrm dy.

现在考察极坐标变换 (x,y)=h(r,θ):=(rcos⁡θ,rsin⁡θ)(x,y)=h(r,\theta):=(r\cos\theta,r\sin\theta)。为了使 hh 成为严格意义上的开集间微分同胚,可以取定义域为开集 Ω′=(0,∞)×(0,2π)\Omega'=(0,\infty)\times(0,2\pi),其像集是平面挖去一条非负 xx 半轴射线 D=R2∖{(x,0):x≥0}D=\mathbb R^2\setminus\{(x,0):x\ge 0\}(一条射线在二维勒贝格测度 λ⊗2\lambda^{\otimes 2} 下的面积为 00,挖去零测集丝毫不影响二重积分与连续随机变量的概率)。

直接对正向映射 (x,y)=h(r,θ)(x,y)=h(r,\theta) 求偏导,它的雅可比行列式为

det⁡∂(x,y)∂(r,θ)=∣cos⁡θ−rsin⁡θsin⁡θrcos⁡θ∣=r(cos⁡2θ+sin⁡2θ)=r>0. \det\frac{\partial(x,y)}{\partial(r,\theta)} = \begin{vmatrix} \cos\theta & -r\sin\theta \\ \sin\theta & r\cos\theta \end{vmatrix} = r(\cos^2\theta+\sin^2\theta) = r > 0.

(如下方左图所示,(r,θ)(r,\theta) 平面上的小矩形 [r,r+dr]×[θ,θ+dθ][r,r+\mathrm dr]\times[\theta,\theta+\mathrm d\theta] 映到 (x,y)(x,y) 平面上是一个内弧长为 r dθr\,\mathrm d\theta、径向厚度为 dr\mathrm dr 的小扇形环块,面积恰好是 r dr dθr\,\mathrm dr\,\mathrm d\theta!)于是,由多元积分换元公式与 Tonelli 定理(被积函数出现了关键因子 rr,恰好凑出 d(−e−r2/2)=re−r2/2 dr\mathrm d(-e^{-r^2/2})=r e^{-r^2/2}\,\mathrm dr!),一行算出

I2=∫02π(∫0∞e−r2/2 r dr)dθ=2π⋅[−e−r2/2]0∞=2π, I^2 = \int_0^{2\pi}\left(\int_0^\infty e^{-r^2/2}\,r\,\mathrm dr\right)\mathrm d\theta = 2\pi\cdot\Bigl[-e^{-r^2/2}\Bigr]_0^\infty = 2\pi,

故 I=2πI=\sqrt{2\pi}!这就严格证明了 ϕ(x)=12πe−x2/2\phi(x)=\frac{1}{\sqrt{2\pi}}e^{-x^2/2} 在全实轴上的积分确实等于 11。

(a)极坐标微元扇形:λ⊗²(h(R)) ≈ r dr dθ x y θ dθ r dr 弧长 r dθ (b)正态旋转对称性与单位圆周 S¹ 均匀采样 S¹ Θ (X, Y) X / ‖X‖ ∈ S¹

第二步:独立标准正态点 (X,Y)(X,Y) 的极坐标 (R,Θ)(R,\Theta) 与单位球面均匀采样。

现在假设 XX 和 YY 是两个相互独立的标准正态随机变量 X,Y∼N(0,1)X,Y\sim\mathcal N(0,1)。由命题 4.13,它们的联合密度函数就是各自边缘密度的乘积:

fX,Y(x,y)=fX(x)fY(y)=12πe−(x2+y2)/2((x,y)∈R2). f_{X,Y}(x,y) = f_X(x)f_Y(y) = \frac{1}{2\pi}e^{-(x^2+y^2)/2}\qquad\bigl((x,y)\in\mathbb R^2\bigr).

把 (X,Y)(X,Y) 看成平面上的随机点,考察它的极坐标 (R,Θ)(R,\Theta)(其中模长 R=X2+Y2>0R=\sqrt{X^2+Y^2}>0,极角 Θ∈(0,2π)\Theta\in(0,2\pi) 满足 X=Rcos⁡Θ, Y=Rsin⁡ΘX=R\cos\Theta,\,Y=R\sin\Theta)。将映射 (x,y)=h(r,θ)=(rcos⁡θ,rsin⁡θ)(x,y)=h(r,\theta)=(r\cos\theta,r\sin\theta) 与 ∣det⁡Jh(r,θ)∣=r|\det J_h(r,\theta)|=r 代入命题 4.16,立刻得到 (R,Θ)(R,\Theta) 在 (0,∞)×(0,2π)(0,\infty)\times(0,2\pi) 上的联合密度函数:

fR,Θ(r,θ)=fX,Y(rcos⁡θ,rsin⁡θ)⋅∣det⁡∂(x,y)∂(r,θ)∣=r2πe−r2/2=12π⏟fΘ(θ)⋅re−r2/2⏟fR(r). f_{R,\Theta}(r,\theta) = f_{X,Y}(r\cos\theta,r\sin\theta)\cdot\left|\det\frac{\partial(x,y)}{\partial(r,\theta)}\right| = \frac{r}{2\pi}e^{-r^2/2} = \underbrace{\frac{1}{2\pi}}_{f_\Theta(\theta)}\cdot\underbrace{r e^{-r^2/2}}_{f_R(r)}.

这个乘积分解揭示了两件意义深远的事实:

  1. 极角 Θ\Theta 与半径 RR 相互独立,且 Θ\Theta 服从均匀分布:联合密度 fR,Θ(r,θ)f_{R,\Theta}(r,\theta) 完全不依赖于角度 θ\theta,并天然拆成了 fΘ(θ)=12π1(0,2π)(θ)f_\Theta(\theta)=\frac{1}{2\pi}\mathbf 1_{(0,2\pi)}(\theta)(即 Θ∼Unif(0,2π)\Theta\sim\mathrm{Unif}(0,2\pi))与瑞利(Rayleigh)分布密度 fR(r)=re−r2/21(0,∞)(r)f_R(r)=r e^{-r^2/2}\mathbf 1_{(0,\infty)}(r) 的乘积!由命题 4.13,随机点的方向角 Θ\Theta 与它到原点的距离 RR 相互独立(上方右图(b))。
  2. 高维单位球面 Sn−1S^{n-1} 上均匀采样的标准算法:在二维中,直接抽 Θ∼Unif(0,2π)\Theta\sim\mathrm{Unif}(0,2\pi) 再算 (cos⁡Θ,sin⁡Θ)(\cos\Theta,\sin\Theta) 固然也能在单位圆周 S1S^1 上均匀取点;但到了高维空间(比如 n=100n=100 维的单位球面 S99⊆R100S^{99}\subseteq\mathbb R^{100}),球坐标的角度面积微元含有 sin⁡n−2θ1sin⁡n−3θ2⋯\sin^{n-2}\theta_1\sin^{n-3}\theta_2\cdots,独立均匀抽角度会导致点严重聚集在极点附近!如果改在立方体 [−1,1]n[-1,1]^n 中均匀取点再除以模长投影,立方体沿顶点(角落)方向伸得更远,投影到球面上也会向角落偏置;而若在 [−1,1]n[-1,1]^n 中用拒绝采样只保留落在单位球内的点,100100 维单位球与外接立方体的体积比约为 10−7010^{-70},一辈子也抽不中一个点! 相反,利用高斯分布的旋转对称性:只需独立生成 nn 个一维标准正态随机数 X1,…,Xn∼N(0,1)X_1,\dots,X_n\sim\mathcal N(0,1),由于联合密度 (2π)−n/2e−∥X∥22/2(2\pi)^{-n/2}e^{-\|\mathbf X\|_2^2/2} 只依赖于欧氏模长 ∥X∥2\|\mathbf X\|_2,归一化向量 X/∥X∥2\mathbf X/\|\mathbf X\|_2 就精确服从 Sn−1S^{n-1} 上的均匀分布!这一方法在理论计算机科学(如 MAX-CUT 的 Goemans–Williamson 随机超平面舍入算法与局部敏感哈希 LSH)中无处不在。

若对半径再做一维换元 S=R2=X2+Y2S=R^2=X^2+Y^2,由 fR(r)=re−r2/2f_R(r)=r e^{-r^2/2} 立知 S∼Exp(1/2)S\sim\mathrm{Exp}(1/2)。反过来,用两个独立均匀随机数生成指数半径 R=−2log⁡U1R=\sqrt{-2\log U_1} 和均匀极角 Θ=2πU2\Theta=2\pi U_2,就能造出两个独立标准正态变量 (Rcos⁡Θ,Rsin⁡Θ)(R\cos\Theta,R\sin\Theta)——这正是著名的 Box–Muller 变换。

4.6 独立随机变量的和、卷积与随机分裂

在概率论的实际应用中,我们最常对多个随机变量做的运算莫过于把它们加起来。假设我们已经知道两个连续随机变量 XX 和 YY 的联合概率密度 fX,Y(x,y)f_{X,Y}(x,y),它们的和 Z=X+YZ=X+Y 的概率密度函数 fZ(z)f_Z(z) 该怎么算呢?

两个随机变量的和与卷积公式

这是命题 4.16(雅可比换元公式)最经典的一个应用。因为目标变量 Z=X+YZ=X+Y 是一维的,而输入 (X,Y)(X,Y) 是二维的,为了应用二维双射换元公式,我们引入一个辅助变量 W=YW=Y(先把二维映成二维,再通过边缘密度积分消去辅助变量 WW)。从新变量 (Z,W)=(X+Y,Y)(Z,W)=(X+Y,Y) 变回旧变量 (X,Y)(X,Y) 的逆映射是线性变换

(X,Y)=g(Z,W)=(Z−W, W), (X,Y) = g(Z,W) = (Z-W,\,W),

即 g1(z,w)=z−wg_1(z,w)=z-w,g2(z,w)=wg_2(z,w)=w。这个线性变换的雅可比行列式恒等于 11:

∣det⁡Jg(z,w)∣=∣1−101∣=1 \bigl|\det J_g(z,w)\bigr| = \begin{vmatrix} 1 & -1 \\ 0 & 1 \end{vmatrix} = 1

(从几何上看,变换 (z,w)=(x+y,y)(z,w)=(x+y,y) 只不过是把平面上每一条水平线高度 yy 保持不变、横坐标向右平移 yy 的水平剪切变换,平行四边形底和高都不变,因此天然保持面积不变!)。

所以根据命题 4.16,(Z,W)(Z,W) 的联合密度函数直接就是

fZ,W(z,w)=fX,Y(z−w,w). f_{Z,W}(z,w) = f_{X,Y}(z-w,w).

接下来,我们只需要把辅助变量 ww 积分消掉,就能算出和 Z=X+YZ=X+Y 的边缘密度函数:

fZ(z)=∫−∞∞fZ,W(z,w) dw=∫−∞∞fX,Y(z−w,w) dw=∫−∞∞fX∣Y(z−w∣w)fY(w) dw. \begin{aligned} f_Z(z) &= \int_{-\infty}^\infty f_{Z,W}(z,w)\,\mathrm dw = \int_{-\infty}^\infty f_{X,Y}(z-w,w)\,\mathrm dw\\ &= \int_{-\infty}^\infty f_{X\mid Y}(z-w\mid w) f_Y(w)\,\mathrm dw. \end{aligned}

特别地,如果 XX 和 YY 相互独立,那么由命题 4.13 有 fX,Y(z−w,w)=fX(z−w)fY(w)f_{X,Y}(z-w,w)=f_X(z-w)f_Y(w),这就导出了卷积公式:

命题 4.17 独立随机变量之和的卷积公式

设 XX 和 YY 是两个相互独立的连续随机变量,各自具有概率密度函数 fXf_X 和 fYf_Y。则它们的和 Z=X+YZ=X+Y 也具有概率密度函数 fX+Yf_{X+Y},且等于 fXf_X 与 fYf_Y 的卷积(convolution):

fX+Y(z)=(fX∗fY)(z):=∫−∞∞fX(z−w)fY(w) dw=∫−∞∞fX(u)fY(z−u) du. f_{X+Y}(z) = (f_X * f_Y)(z) := \int_{-\infty}^\infty f_X(z-w)f_Y(w)\,\mathrm dw = \int_{-\infty}^\infty f_X(u)f_Y(z-u)\,\mathrm du.

特别地,若 X≥0X\ge 0 且 Y≥0Y\ge 0 均为非负独立连续随机变量(即当自变量 <0<0 时 fX,fYf_X,f_Y 恒为 00),则被积函数 fX(z−w)fY(w)f_X(z-w)f_Y(w) 仅在 w≥0w\ge 0 且 z−w≥0z-w\ge 0(即 0≤w≤z0\le w\le z)时非零,此时积分上下限自动收缩为有限区间 [0,z][0,z]:

fX+Y(z)=∫0zfX(z−w)fY(w) dw(z≥0). f_{X+Y}(z) = \int_0^z f_X(z-w)f_Y(w)\,\mathrm dw\qquad (z\ge 0).

直观地看卷积公式:要想让和 X+YX+Y 恰好落在 zz 附近,一旦第二个变量取了 Y=wY=w(密度为 fY(w)f_Y(w)),第一个变量就必须取 X=z−wX=z-w(密度为 fX(z−w)f_X(z-w))。由于 X⊥YX\perp Y,把所有满足 x+w=zx+w=z 的组合沿着直线 x+w=zx+w=z 积分累加起来,就得到了 ∫−∞∞fX(z−w)fY(w) dw\int_{-\infty}^\infty f_X(z-w)f_Y(w)\,\mathrm dw。

下面,我们就用刚刚建立的卷积公式来推导独立指数分布之和的 Gamma 分布,并解决 Feller 书中的经典随机分裂问题(至于独立均匀分布之和与圆环随机弧覆盖概率,我们放在 4.7 节选读内容中展开)。

经典算例:独立指数分布的和与随机分裂问题

在看随机分裂之前,我们先用卷积公式算一个后面天天要用的基本结论:如果 Y1,Y2,…,YnY_1,Y_2,\dots,Y_n 是 nn 个独立同分布、速率为 11 的指数分布随机变量 Yi∼Exp(1)Y_i\sim\mathrm{Exp}(1),即每个 YiY_i 的密度函数为

g1(x)=e−x1[0,∞)(x)={e−x,若 x≥0,0,若 x<0, g_1(x) = e^{-x}\mathbf 1_{[0,\infty)}(x) = \begin{cases} e^{-x}, & \text{若 } x\ge 0,\\ 0, & \text{若 } x<0, \end{cases}

那么它们的和 Tn:=Y1+Y2+⋯+YnT_n := Y_1+Y_2+\cdots+Y_n 的概率密度函数 gn(x)g_n(x) 与分布函数 Gn(x)G_n(x) 是什么?

我们用数学归纳法与非负随机变量的卷积公式(命题 4.17)立刻就能算出来!当 n=1n=1 时,g1(x)=e−xg_1(x)=e^{-x}(x≥0x\ge 0)。假设对于 n−1n-1,部分和 Tn−1T_{n-1} 在 x≥0x\ge 0 上的密度为 gn−1(x)=xn−2(n−2)!e−xg_{n-1}(x)=\frac{x^{n-2}}{(n-2)!}e^{-x}。那么由于 Tn=Tn−1+YnT_n=T_{n-1}+Y_n 且 Tn−1⊥YnT_{n-1}\perp Y_n(命题 4.9),当 x≥0x\ge 0 时,应用 [0,x][0,x] 上的卷积公式立得

gn(x)=∫0xgn−1(x−w)g1(w) dw=∫0x(x−w)n−2(n−2)!e−(x−w)⋅e−w dw=e−x∫0x(x−w)n−2(n−2)! dw=xn−1(n−1)!e−x(x≥0)! \begin{aligned} g_n(x) &= \int_0^x g_{n-1}(x-w)g_1(w)\,\mathrm dw = \int_0^x \frac{(x-w)^{n-2}}{(n-2)!}e^{-(x-w)}\cdot e^{-w}\,\mathrm dw\\ &= e^{-x}\int_0^x \frac{(x-w)^{n-2}}{(n-2)!}\,\mathrm dw = \frac{x^{n-1}}{(n-1)!}e^{-x}\qquad (x\ge 0) ! \end{aligned}

对密度 gn(t)g_n(t) 在 [0,x][0,x] 上积分(连续做 n−1n-1 次分部积分,或者直接对右端求导验证),就得到 Tn=∑i=1nYiT_n=\sum_{i=1}^n Y_i 的分布函数为

Gn(x):=P(∑i=1nYi≤x)=∫0xtn−1(n−1)!e−t dt=1−e−x∑k=0n−1xkk!(x≥0). G_n(x) := \mathbb P\left(\sum_{i=1}^n Y_i \le x\right) = \int_0^x \frac{t^{n-1}}{(n-1)!}e^{-t}\,\mathrm dt = 1 - e^{-x}\sum_{k=0}^{n-1}\frac{x^k}{k!}\qquad (x\ge 0).

我们在第五章会正式把具有密度 gn(x)=xn−1(n−1)!e−xg_n(x)=\frac{x^{n-1}}{(n-1)!}e^{-x} 的分布命名为速率为 11 的 Gamma 分布 Γ(n,1)\Gamma(n,1)(注意它的尾概率 1−Gn(x)=e−x∑k=0n−1xkk!1-G_n(x)=e^{-x}\sum_{k=0}^{n-1}\frac{x^k}{k!} 跟我们在 4.3 节 例 4.3 末尾算出的顺序统计量极限一模一样!)。有了这个武器,下面这个关于随机连乘的随机分裂问题就能迎刃而解了:

例 4.6 (随机分裂问题:独立均匀随机变量的连乘积) 假设有一个初始质量为 11 的物质,它每单位时间会独立地分裂一次。每次分裂的方式是变成两块,质量分别为原来的 pp 倍和 1−p1-p 倍,其中比例 pp 是在 [0,1][0,1] 中均匀随机取的一个数字;每次分裂后,我们始终留下比例为 pp 的那一块继续观察它的下一次分裂。那么,当分裂了 nn 次之后,手里这块物质的质量分布是怎么样的呢?

我们用 ZnZ_n 表示分裂了 nn 次之后这块物质的质量。那么 Z0=1Z_0=1,并且

Zn=∏i=1nXi, Z_n = \prod_{i=1}^n X_i,

其中 X1,X2,…,Xn∼Unif[0,1]X_1,X_2,\dots,X_n\sim\mathrm{Unif}[0,1] 是相互独立的均匀随机变量。

直接处理 nn 个随机变量的乘积看起来很棘手,但只要两边取对数,连乘马上就变成了连加!具体来说,由于 P(Xi∈(0,1))=1\mathbb P(X_i\in(0,1))=1,我们令 Yi:=−log⁡Xi>0Y_i := -\log X_i > 0,那么

log⁡Zn=∑i=1nlog⁡Xi=−∑i=1nYi, \log Z_n = \sum_{i=1}^n \log X_i = -\sum_{i=1}^n Y_i,

也就是说,Tn:=−log⁡Zn=∑i=1nYiT_n:=-\log Z_n=\sum_{i=1}^n Y_i 恰好是 nn 个相互独立的非负随机变量之和(命题 4.9 保证了 Y1,…,YnY_1,\dots,Y_n 相互独立)!

而我们在 4.5 节开头的一维换元热身算例中已经算过:当 Xi∼Unif(0,1)X_i\sim\mathrm{Unif}(0,1) 时,Yi=−log⁡Xi∼Exp(1)Y_i=-\log X_i\sim\mathrm{Exp}(1) 恰好服从速率为 11 的标准指数分布!因此,Tn=∑i=1nYi∼Γ(n,1)T_n=\sum_{i=1}^n Y_i\sim\Gamma(n,1) 的密度函数与分布函数就是刚才算出的 gn(x)=xn−1(n−1)!e−xg_n(x)=\frac{x^{n-1}}{(n-1)!}e^{-x} 与 Gn(x)=1−e−x∑k=0n−1xkk!G_n(x)=1-e^{-x}\sum_{k=0}^{n-1}\frac{x^k}{k!}。

于是,对任意 t∈(0,1)t\in(0,1),由 Zn=e−TnZ_n=e^{-T_n} 直接写出 ZnZ_n 的分布函数:

FZn(t)=P(Zn≤t)=P(Tn≥log⁡1t)=1−Gn(log⁡1t)=t∑k=0n−1(log⁡(1/t))kk!(t∈(0,1]). \begin{aligned} F_{Z_n}(t) = \mathbb P(Z_n\le t) &= \mathbb P\left(T_n \ge \log\frac{1}{t}\right) = 1 - G_n\left(\log\frac{1}{t}\right)\\ &= t\sum_{k=0}^{n-1}\frac{\bigl(\log(1/t)\bigr)^k}{k!}\qquad\bigl(t\in(0,1]\bigr). \end{aligned}

如果我们想求 ZnZ_n 在 (0,1)(0,1) 上的概率密度函数 fZn(t)f_{Z_n}(t),甚至根本不需要对上面的和式求导相消——直接对一维变换 Tn=−log⁡ZnT_n=-\log Z_n 调用 4.5 节的一维换元公式(逆变换导数绝对值为 ∣ddt(−log⁡t)∣=1t\bigl|\frac{\mathrm d}{\mathrm dt}(-\log t)\bigr|=\frac{1}{t}),一行便得:

fZn(t)=gn(log⁡1t)⋅1t=(log⁡(1/t))n−1(n−1)!e−log⁡(1/t)⋅1t=(log⁡(1/t))n−1(n−1)!(t∈(0,1))! f_{Z_n}(t) = g_n\left(\log\frac{1}{t}\right)\cdot\frac{1}{t} = \frac{\bigl(\log(1/t)\bigr)^{n-1}}{(n-1)!}e^{-\log(1/t)}\cdot\frac{1}{t} = \frac{\bigl(\log(1/t)\bigr)^{n-1}}{(n-1)!}\qquad\bigl(t\in(0,1)\bigr) !

4.7 选读:均匀分布的和与圆环随机弧覆盖概率

在 4.6 节中,我们看到 nn 个独立指数分布之和服从形式简洁的 Γ(n,1)\Gamma(n,1) 分布。那如果我们把 nn 个独立的均匀分布 X1,…,Xn∼Unif[0,a]X_1,\dots,X_n\sim\mathrm{Unif}[0,a] 直接加起来,它们的和 Sn=∑i=1nXiS_n=\sum_{i=1}^n X_i 的分布又长什么样呢?算出来之后,它又能帮我们解决什么意想不到的几何概率问题?

例 4.7 (独立均匀随机变量之和与圆环覆盖概率) (1)独立均匀随机变量之和 Sn=∑i=1nXiS_n=\sum_{i=1}^n X_i 的精确分布

假设 X1,…,Xn∼Unif[0,a]X_1,\dots,X_n\sim\mathrm{Unif}[0,a](a>0a>0)是 nn 个相互独立的随机变量,我们来求它们的和 Sn:=∑i=1nXiS_n:=\sum_{i=1}^n X_i 的分布函数 Un(x):=P(Sn≤x)U_n(x):=\mathbb P(S_n\le x) 与概率密度函数 un(x)u_n(x)。

首先,当 n=1n=1 时,u1(x)=1a1[0,a](x)u_1(x)=\frac{1}{a}\mathbf 1_{[0,a]}(x)。对于一般的 n≥1n\ge 1,由于 Sn+1=Sn+Xn+1S_{n+1}=S_n+X_{n+1} 且 Sn⊥Xn+1S_n\perp X_{n+1},应用卷积公式(命题 4.17,注意 Xn+1X_{n+1} 的密度仅在 [0,a][0,a] 上等于 1/a1/a)立刻得到关于密度函数的递推式:

u1(x)=1a,x∈[0,a],un+1(x)=1a∫0aun(x−y) dy=1a(Un(x)−Un(x−a)),∀n≥1. \begin{aligned} u_1(x) &= \frac{1}{a},\qquad x\in[0,a],\\ u_{n+1}(x) &= \frac{1}{a}\int_0^a u_n(x-y)\,\mathrm dy = \frac{1}{a}\bigl(U_n(x)-U_n(x-a)\bigr),\qquad\forall n\ge 1. \end{aligned}

为了把分段函数写成一个统一的闭合公式,对于任意实数 x∈Rx\in\mathbb R,我们引入正部记号 x+:=max⁡{x,0}x_+:=\max\{x,0\}。注意到当 n=1n=1 时,S1∼Unif[0,a]S_1\sim\mathrm{Unif}[0,a] 的分布函数正好可以写成

U1(x)=a−1⋅(x+−(x−a)+)(x∈R), U_1(x) = a^{-1}\cdot\bigl(x_+ - (x-a)_+\bigr)\qquad (x\in\mathbb R),

因为当 x<0x<0 时两项皆为 00,当 0≤x≤a0\le x\le a 时等于 x/ax/a,当 x>ax>a 时等于 x−(x−a)a=1\frac{x-(x-a)}{a}=1!利用这个记号,我们可以用数学归纳法证明下面这个漂亮的一般公式:

Un(x)=1ann!∑j=0n(−1)j(nj)((x−ja)+)n,un+1(x)=1an+1n!∑j=0n+1(−1)j(n+1j)((x−ja)+)n. \begin{aligned} U_n(x) &= \frac{1}{a^n n!}\sum_{j=0}^n (-1)^j\binom{n}{j}\bigl((x-j a)_+\bigr)^n,\\ u_{n+1}(x) &= \frac{1}{a^{n+1}n!}\sum_{j=0}^{n+1}(-1)^j\binom{n+1}{j}\bigl((x-j a)_+\bigr)^n. \end{aligned}

证明:边界条件 n=1n=1 时的 U1(x)U_1(x) 已经验证过了,且 u2(x)=a−1(U1(x)−U1(x−a))=a−2(x+−2(x−a)++(x−2a)+)u_2(x)=a^{-1}(U_1(x)-U_1(x-a))=a^{-2}\bigl(x_+-2(x-a)_++(x-2a)_+\bigr)(正是两枚独立均匀变量之和的三角形帐篷密度!)。

现在假设直到 un(x)u_n(x) 的表达式均已成立。我们先对 un(t)u_n(t) 积分求 Un(x)U_n(x):利用归纳假设与线性性(有限求和直接逐项积分),由于 ∫−∞x(t−ja)+n−1 dt=1n(x−ja)+n\int_{-\infty}^x (t-ja)_+^{n-1}\,\mathrm dt = \frac{1}{n}(x-ja)_+^n,立刻得到

Un(x)=∫0xun(t) dt=1an(n−1)!∑j=0n(−1)j(nj)∫0x(t−ja)+n−1 dt=1ann!∑j=0n(−1)j(nj)(x−ja)+n. \begin{aligned} U_n(x) &= \int_0^x u_n(t)\,\mathrm dt = \frac{1}{a^n(n-1)!}\sum_{j=0}^n (-1)^j\binom{n}{j}\int_0^x (t-ja)_+^{n-1}\,\mathrm dt\\ &= \frac{1}{a^n n!}\sum_{j=0}^n (-1)^j\binom{n}{j}(x-ja)_+^n. \end{aligned}

接着我们由递推式 un+1(x)=a−1(Un(x)−Un(x−a))u_{n+1}(x)=a^{-1}(U_n(x)-U_n(x-a)) 计算 un+1(x)u_{n+1}(x)。按照组合惯例,当整数 j∉{0,1,…,n}j\notin\{0,1,\dots,n\} 时令 (nj)=0\binom{n}{j}=0,这样就可以把求和下标 jj 的范围写成全体整数 j∈Zj\in\mathbb Z。做一次平移换指标并利用帕斯卡恒等式 (nj)+(nj−1)=(n+1j)\binom{n}{j}+\binom{n}{j-1}=\binom{n+1}{j},便有

un+1(x)=a−1⋅(Un(x)−Un(x−a))=1an+1n!∑j∈Z(−1)j(nj)((x−ja)+n−(x−(j+1)a)+n)=1an+1n!∑j∈Z(−1)j((nj)+(nj−1))(x−ja)+n=1an+1n!∑j=0n+1(−1)j(n+1j)(x−ja)+n, \begin{aligned} u_{n+1}(x) &= a^{-1}\cdot\bigl(U_n(x)-U_n(x-a)\bigr)\\ &= \frac{1}{a^{n+1}n!}\sum_{j\in\mathbb Z}(-1)^j\binom{n}{j}\Bigl((x-ja)_+^n - \bigl(x-(j+1)a\bigr)_+^n\Bigr)\\ &= \frac{1}{a^{n+1}n!}\sum_{j\in\mathbb Z}(-1)^j\left(\binom{n}{j}+\binom{n}{j-1}\right)(x-ja)_+^n\\ &= \frac{1}{a^{n+1}n!}\sum_{j=0}^{n+1}(-1)^j\binom{n+1}{j}(x-ja)_+^n, \end{aligned}

这就完成了归纳证明!

(2)应用:往圆环上随机扔 nn 段圆弧,有多大概率能盖住整个圆环?

我们现在使用上面的结论来研究一个非常有趣、初看无从下手的几何概率问题:往一个周长为 tt 的圆环上独立均匀地随机扔 nn 个长度为 aa 的圆弧,有多大概率能够盖住整个圆环?(这个问题在交大水源社区上也曾引发过热烈讨论。)

(a)独立均匀和密度 u₁, u₂, u₃ (a = 1) 0 a 2a 3a 1/a u₁ u₂ u₃ (b)周长 t 的圆环剪开为区间 [0, t] 上的间距 ≤ a 0 X⁽¹⁾ = x ≤ a X⁽²⁾ X⁽³⁾ t 剩余长度 t − x 由其余 n − 1 段弧覆盖:φₙ₋₁(t − x)

我们用 φn(t)\varphi_n(t) 表示在周长为 tt 的圆环上独立均匀扔 nn 个长度为 aa 的圆弧(每个圆弧从随机落点起顺时针延伸长度 aa)能够盖住整个圆环的概率。模仿我们在 4.2 节 例 4.1 中的剪开技巧:把第 nn 段圆弧的起点选作原点 00 并把圆环剪开拉直成区间 [0,t][0,t],其余 n−1n-1 段圆弧的起点就是 [0,t][0,t] 上独立均匀投掷的 n−1n-1 个点 X(1)≤X(2)≤⋯≤X(n−1)X^{(1)}\le X^{(2)}\le\cdots\le X^{(n-1)}(如上图右所示)。

所谓这 nn 个长度为 aa 的圆弧盖住整个圆环,当且仅当区间 [0,t][0,t] 上相邻两个点(包括左端点 00 和右端点 tt)之间的距离全都不大于 aa!现在我们对第一个点(最小点)的位置 X(1)=xX^{(1)}=x 使用连续全概率公式:

  • 为了不让 [0,X(1)][0,X^{(1)}] 之间露出空隙,必须有 0<x≤min⁡(a,t)0<x\le\min(a,t);
  • 在 n−1n-1 个独立点中,选哪一个作为最小点有 n−1n-1 种可能,它落在无穷小区间 [x,x+dx][x,x+\mathrm dx] 内的概率元是 dxt\frac{\mathrm dx}{t},而其余 n−2n-2 个点全都落在右侧区间 (x,t](x,t] 内的概率是 (t−xt)n−2\bigl(\frac{t-x}{t}\bigr)^{n-2};
  • 在给定其余 n−2n-2 个点落在 (x,t](x,t] 内的条件下,它们在长度为 t−xt-x 的剩余区间上依然独立均匀分布,且连同起点位于 xx 的那段长为 aa 的圆弧一起把剩余区间 [x,t][x,t] 完全盖住的条件概率恰好就是 φn−1(t−x)\varphi_{n-1}(t-x)!

把这三项乘起来对 x∈(0,min⁡(a,t)]x\in(0,\min(a,t)] 积分(若约定当 s≤0s\le 0 时 φn−1(s):=0\varphi_{n-1}(s):=0,上限也可统一记为 aa),立刻写出 φn(t)\varphi_n(t) 的递推积分方程:

φn(t)=(n−1)∫0min⁡(a,t)φn−1(t−x)(t−xt)n−2⋅1t dx(n≥2). \varphi_n(t) = (n-1)\int_0^{\min(a,t)} \varphi_{n-1}(t-x)\left(\frac{t-x}{t}\right)^{n-2}\cdot\frac{1}{t}\,\mathrm dx\qquad (n\ge 2).

大家仔细观察上面这个式子:把分母里的 tn−1t^{n-1} 移到左边去,(t−x)n−2φn−1(t−x)(t-x)^{n-2}\varphi_{n-1}(t-x) 在 [0,min⁡(a,t)][0,\min(a,t)] 上的积分岂不就是一个卷积递推式吗?它跟我们刚才算均匀分布和密度 un(t)=1a∫0aun−1(t−x) dxu_n(t)=\frac{1}{a}\int_0^a u_{n-1}(t-x)\,\mathrm dx(当 x>tx>t 时 un−1(t−x)=0u_{n-1}(t-x)=0)的递推结构简直如出一辙!事实上,注意到当 n=1n=1 时,单段弧盖住周长 tt 的圆环当且仅当 t≤at\le a,即 φ1(t)=1(0,a](t)=au1(t)\varphi_1(t)=\mathbf 1_{(0,a]}(t)=a u_1(t)(在 t≠at\ne a 处);通过对比两边的常数因子,我们立刻就能凑出 φn(t)\varphi_n(t) 与 un(t)u_n(t) 之间的精确关系并通过归纳法验证(对 n≥2n\ge 2 处处成立,若约定 z+0:=1{z>0}z_+^0:=\mathbf 1_{\{z>0\}} 则对 n=1n=1 同样成立):

φn(t)=an(n−1)! un(t)1tn−1=∑j=0n(−1)j(nj)(1−jat)+n−1(n≥2)! \varphi_n(t) = a^n(n-1)!\,u_n(t)\frac{1}{t^{n-1}} = \sum_{j=0}^n (-1)^j\binom{n}{j}\left(1-\frac{ja}{t}\right)_+^{n-1}\qquad (n\ge 2) !

当 a=1a=1 时,Sn=∑i=1nXiS_n=\sum_{i=1}^n X_i 的分布称为 Irwin–Hall 分布(在数值分析中也称为 n−1n-1 次均匀 B-样条基函数):如上图(a)所示,u1u_1 是方波,u2u_2 是分段线性的三角波,u3u_3 是三段光滑拼接的二次抛物线,随着 nn 增大迅速逼近正态钟形曲线——这正是我们在第八章将要学习的中心极限定理(CLT)最直观的几何写照。

4.8 选读:非双射、非光滑变换与 Federer 余面积公式

在 4.5 节的命题 4.16 中,为了用最简明的几何语言写出雅可比换元公式,我们假设了坐标变换 g:D→Ω′g:D\to\Omega' 是全局 C1C^1 微分同胚——也就是说,gg 既是双射,又处处连续可微,而且雅可比行列式 det⁡Jg≠0\det J_g\ne 0。

然而,在概率论、统计学与现代机器学习的日常计算里,我们真正打交道的函数 U=g(X)U=g(X) 往往没有这么温顺:

  1. 不是双射(多对一):例如偶函数 U=X2U=X^2、周期函数 U=sin⁡XU=\sin X,一个函数值 uu 对应不止一个原像 xx;
  2. 存在不可微折点或孤立驻点:例如绝对值 U=∣X∣U=|X| 在原点不可导、逐点极值 U=max⁡(X,Y)U=\max(X,Y) 在对角线 x=yx=y 上有折线,或者立方映射 U=X3U=X^3 在 x=0x=0 处导数为 00;
  3. 存在“平坦段”(函数在正测度集上取常值,导数为 00):例如神经网络中最常用的激活函数 ReLU(X)=max⁡(0,X)\mathrm{ReLU}(X)=\max(0,X),在整条负半轴上恒等于常数 00;
  4. 降维映射(Rn→Rm, m<n\mathbb R^n\to\mathbb R^m,\,m<n):例如从二维随机点 (X,Y)(X,Y) 直接求一维距离 R=X2+Y2R=\sqrt{X^2+Y^2} 或和 Z=X+YZ=X+Y,此时雅可比矩阵甚至不是方阵,根本没法直接取行列式。

当遇到这些“性质没那么好”的函数 gg 时,我们该怎么算 U=g(X)U=g(X) 的分布?好消息是:我们在第三章和第四章建立的勒贝格积分与检验函数期望恒等式

E[ϕ(U)]=E[ϕ(g(X))]=∫Rnϕ(g(x))fX(x) dx \mathbb E\bigl[\phi(U)\bigr] = \mathbb E\bigl[\phi\bigl(g(X)\bigr)\bigr] = \int_{\mathbb R^n} \phi\bigl(g(x)\bigr) f_X(x)\,\mathrm dx

本身对任何 Borel 可测函数 gg 都无条件成立!只要回到这个第一性原理出发,上述四类问题不仅都能迎刃而解,而且最终会汇入现代几何测度论的一条核心定理——Federer 余面积公式(Coarea Formula)。

有限折点、孤立驻点与多对一映射:零测集无关性与分支求和

我们先来处理前两类最常见的情形:有限(或可数)个不可微点/驻点,以及多对一映射。

为什么数学分析课里讲黎曼积分换元时总要特意避开不可微点和驻点,而在概率密度计算里我们却无需顾虑有限个折点(比如 U=∣X∣U=|X| 在 x=0x=0 处不可导)或孤立驻点(比如 U=X3U=X^3 在 x=0x=0 处导数 g′(0)=0g'(0)=0,导致 1∣g′(0)∣\frac{1}{|g'(0)|} 除零)?

原因就在于第 3.6 节建立的勒贝格绝对连续性!既然输入随机向量 XX 具有概率密度函数 fX(x)f_X(x),那么任何一个 nn 维勒贝格测度为 00 的“坏点集” N⊆RnN\subseteq\mathbb R^n(即 λ⊗n(N)=0\lambda^{\otimes n}(N)=0,包括有限个点、可数个点,乃至由光滑曲线或低维超平面拼成的折角边界,如 {x=y}\{x=y\}),所携带的概率质量都精确等于 00:

P(X∈N)=∫NfX(x) dx=0,∫Nϕ(g(x))fX(x) dx=0. \mathbb P(X\in N) = \int_N f_X(x)\,\mathrm dx = 0,\qquad \int_N \phi\bigl(g(x)\bigr) f_X(x)\,\mathrm dx = 0.

换句话说,勒贝格积分天生“看不见”零测集!我们可以直接把不可微点集和孤立驻点集 NN 从定义域 DD 中挖去;而输出的概率密度函数 fU(u)f_U(u) 本身也只在“几乎处处(a.e.)”意义下定义,在有限个单点处取什么值丝毫不影响任何事件的概率积分。

挖去零测坏点集 NN 之后,如果映射 gg 是多对一的,我们只需把剩余的开集 D∖ND\setminus N 拆成至多可数个互不相交的开区域(单调分支)

D∖N=⨆kDk, D\setminus N = \bigsqcup_{k} D_k,

使得限制在每一个分支 DkD_k 上的映射 gk:=g∣Dk:Dk→Ωkg_k := g|_{D_k}:D_k\to\Omega_k 都是良态的 C1C^1 微分同胚(记其局部逆映射为 hk:=gk−1:Ωk→Dkh_k:=g_k^{-1}:\Omega_k\to D_k)。利用勒贝格积分在可数不交并上的可加性,对任意非负检验函数 ϕ\phi 分别在每个分支 DkD_k 上调用命题 4.16,再把求和号移入积分号内:

E[ϕ(g(X))]=∑k∫Dkϕ(gk(x))fX(x) dx=∑k∫Ωkϕ(u)fX(hk(u)) ∣det⁡Jhk(u)∣ du=∫Rnϕ(u)(∑k: u∈ΩkfX(hk(u)) ∣det⁡Jhk(u)∣)du. \begin{aligned} \mathbb E\bigl[\phi\bigl(g(X)\bigr)\bigr] &= \sum_k \int_{D_k} \phi\bigl(g_k(x)\bigr) f_X(x)\,\mathrm dx\\ &= \sum_k \int_{\Omega_k} \phi(u) f_X\bigl(h_k(u)\bigr)\,\bigl|\det J_{h_k}(u)\bigr|\,\mathrm du\\ &= \int_{\mathbb R^n} \phi(u)\left(\sum_{k:\,u\in\Omega_k} f_X\bigl(h_k(u)\bigr)\,\bigl|\det J_{h_k}(u)\bigr|\right)\mathrm du. \end{aligned}

对比被积函数,立刻得到多对一映射的分支求和换元公式:

命题 4.18 多对一映射的分支求和换元公式

设随机向量 XX 在开集 D⊆RnD\subseteq\mathbb R^n(P(X∈D)=1\mathbb P(X\in D)=1)上具有概率密度 fX(x)f_X(x)。若存在零测闭集 N⊆DN\subseteq D(λ⊗n(N)=0\lambda^{\otimes n}(N)=0),使得 D∖N=⨆kDkD\setminus N=\bigsqcup_k D_k 为至多可数个开区域的不交并,且 gg 在每个分支 DkD_k 上均为到开集 Ωk=g(Dk)\Omega_k=g(D_k) 的 C1C^1 微分同胚(局部逆映射为 hk=gk−1h_k=g_k^{-1},满足 det⁡Jg≠0\det J_g\ne 0),则 U=g(X)U=g(X) 的概率密度函数为各原像分支的密度贡献之和:

fU(u)=∑k: u∈ΩkfX(hk(u)) ∣det⁡Jhk(u)∣=∑x∈g−1({u})∖NfX(x)∣det⁡Jg(x)∣(a.e. u∈Rn). \begin{aligned} f_U(u) &= \sum_{k:\,u\in\Omega_k} f_X\bigl(h_k(u)\bigr)\,\bigl|\det J_{h_k}(u)\bigr|\\ &= \sum_{x\in g^{-1}(\{u\})\setminus N} \frac{f_X(x)}{\bigl|\det J_g(x)\bigr|}\qquad (\text{a.e. } u\in\mathbb R^n). \end{aligned}

例 4.8 (标准正态的平方 U=X2U=X^2 与自由度为 11 的 χ2(1)\chi^2(1) 分布) 设 X∼N(0,1)X\sim\mathcal N(0,1) 具有标准正态密度 fX(x)=12πe−x2/2f_X(x)=\frac{1}{\sqrt{2\pi}}e^{-x^2/2},求 U=g(X)=X2U=g(X)=X^2 的概率密度函数 fU(u)f_U(u)。

如左下图所示,抛物线 u=x2u=x^2 在全实轴 R\mathbb R 上不是单射,且在原点 x=0x=0 处导数 g′(0)=0g'(0)=0。但单点集 N={0}N=\{0\} 的勒贝格测度为 00!挖去原点后,实轴自然拆成负半轴与正半轴两个单调开分支:

R∖{0}=D1⊔D2=(−∞,0)⊔(0,∞), \mathbb R\setminus\{0\} = D_1\sqcup D_2 = (-\infty,0)\sqcup(0,\infty),

它们在 g(x)=x2g(x)=x^2 下的像集都是 Ω1=Ω2=(0,∞)\Omega_1=\Omega_2=(0,\infty)。对于任意给定的 u>0u>0,方程 x2=ux^2=u 恰好有两个原像分支:

h1(u)=−u∈D1,h2(u)=+u∈D2, h_1(u) = -\sqrt{u}\in D_1,\qquad h_2(u) = +\sqrt{u}\in D_2,

且两支逆函数的导数绝对值都等于 ∣h1′(u)∣=∣h2′(u)∣=12u|h_1'(u)|=|h_2'(u)|=\frac{1}{2\sqrt{u}}。直接代入命题 4.18 把两支贡献相加,立得 U=X2U=X^2 在 u>0u>0 上的概率密度函数:

fU(u)=fX(−u)⋅12u+fX(+u)⋅12u=12πu e−u/2(u>0). \begin{aligned} f_U(u) &= f_X(-\sqrt{u})\cdot\frac{1}{2\sqrt{u}} + f_X(+\sqrt{u})\cdot\frac{1}{2\sqrt{u}}\\ &= \frac{1}{\sqrt{2\pi u}}\,e^{-u/2}\qquad (u>0). \end{aligned}

在统计学中,X2X^2(X∼N(0,1)X\sim\mathcal N(0,1))的分布称为自由度为 11 的卡方分布,记作 χ2(1)\chi^2(1)(对比 4.6 节的 Gamma 密度可知,它其实就是形状参数为 1/21/2、速率参数为 1/21/2 的 Γ(1/2,1/2)\Gamma(1/2,1/2) 分布)。注意尽管在端点 u→0+u\to 0^+ 处密度 fU(u)∼(2πu)−1/2→+∞f_U(u)\sim(2\pi u)^{-1/2}\to+\infty 无界(因为抛物线在顶点处切线水平,g′(0)=0g'(0)=0 导致局部长度被强烈压缩),但反常积分 ∫01u−1/2 du=2<∞\int_0^1 u^{-1/2}\,\mathrm du=2<\infty 完全收敛,它在勒贝格积分下依然是一个合法的概率密度函数!

当导数在正测度区间上为零:“平坦段”与混合分布

看完了孤立驻点 g′(0)=0g'(0)=0 不会破坏绝对连续性,一个自然的追问是:什么时候 g′(x)=0g'(x)=0 才会真正失效,让 U=g(X)U=g(X) 连概率密度函数都不复存在?

注意 正测度平坦段上的概率集中(Probability Concentration)

当函数 gg 在某个具有正概率质量的子集 I0⊆RnI_0\subseteq\mathbb R^n(即 P(X∈I0)=∫I0fX(x) dx>0\mathbb P(X\in I_0)=\int_{I_0}f_X(x)\,\mathrm dx > 0)上恒等于常值 g(x)≡c0g(x)\equiv c_0 时——例如一维函数 gg 在区间 I0I_0 上是一段水平常值函数——雅可比公式中的分母 ∣g′(x)∣=0|g'(x)|=0(或 det⁡Jg(x)=0\det J_g(x)=0)在整段 I0I_0 上彻底失效!此时,原本连续铺展在 I0I_0 上的概率质量 P(X∈I0)>0\mathbb P(X\in I_0)>0 被映射 gg 整体压缩(集中)到了同一个单点 u=c0u=c_0 上,使得单点事件 {U=c0}\{U=c_0\} 具有严格为正的概率 P(U=c0)≥P(X∈I0)>0\mathbb P(U=c_0)\ge\mathbb P(X\in I_0)>0。因此,输出分布至少含有一个离散原子,U=g(X)U=g(X) 不再是绝对连续型随机变量;若其余部分由光滑非退化分支组成,就得到了 3.6 节 Lebesgue 分解中的混合型分布(离散原子 ++ 绝对连续密度)。

(a)多对一 u = x²:两支原像 ±√u 密度相加 u −√u +√u 0 u = x² 孤立驻点 {0} 测度为 0;u > 0 处两支 |dx/du| = 1/(2√u) 相加 (b)平坦段 u = max(0, x):左半轴压缩为 u = 0 原子 P(X ≤ 0) = 1/2 u > 0 保持正态密度 u = x 0(原子权重 1/2) E[φ(U)] = (1/2)φ(0) + ∫₀^∞ φ(u) f_X(u) du

面对这种带有平坦段的函数,最可靠、最不易出错的办法依然是直接写检验函数期望 E[ϕ(g(X))]\mathbb E[\phi(g(X))]:把积分域按“平坦段 I0I_0”与“光滑双射段 DkD_k”拆开!我们用现代深度学习中最常见的 ReLU\mathrm{ReLU} 激活函数来看一个具体算例:

例 4.9 (神经网络激活函数 U=ReLU(X)=max⁡(0,X)U=\mathrm{ReLU}(X)=\max(0,X) 的混合分布) 设输入信号 X∼N(0,1)X\sim\mathcal N(0,1) 服从标准正态分布,经过线性整流激活函数(Rectified Linear Unit)得到输出

U=ReLU(X):=max⁡(0,X)={0,若 X≤0,X,若 X>0. U = \mathrm{ReLU}(X) := \max(0,X) = \begin{cases} 0, & \text{若 } X\le 0,\\ X, & \text{若 } X>0. \end{cases}

如右上图(b)所示,在负半轴 I0=(−∞,0]I_0=(-\infty,0] 上,g(x)≡0g(x)\equiv 0 是一整段水平常值函数;而在正半轴 D1=(0,∞)D_1=(0,\infty) 上,g(x)=xg(x)=x 是恒等双射。对于任意有界 Borel 检验函数 ϕ:R→R\phi:\mathbb R\to\mathbb R,我们将全实轴上的期望积分拆成负半轴与正半轴两部分:

E[ϕ(U)]=∫−∞0ϕ(0) 12πe−x2/2 dx+∫0∞ϕ(x) 12πe−x2/2 dx=12 ϕ(0)+∫0∞ϕ(u) 12πe−u2/2 du. \begin{aligned} \mathbb E\bigl[\phi(U)\bigr] &= \int_{-\infty}^0 \phi(0)\,\frac{1}{\sqrt{2\pi}}e^{-x^2/2}\,\mathrm dx + \int_0^\infty \phi(x)\,\frac{1}{\sqrt{2\pi}}e^{-x^2/2}\,\mathrm dx\\ &= \frac{1}{2}\,\phi(0) + \int_0^\infty \phi(u)\,\frac{1}{\sqrt{2\pi}}e^{-u^2/2}\,\mathrm du. \end{aligned}

这个等式把 UU 的分布结构展现得一清二楚:

  1. 第一项 12ϕ(0)\frac{1}{2}\phi(0) 说明 UU 在原点 u=0u=0 处有一个权重为 P(U=0)=P(X≤0)=12\mathbb P(U=0)=\mathbb P(X\le 0)=\frac{1}{2} 的 Dirac 原子(点质量 δ0\delta_0);
  2. 第二项说明在正半轴 u∈(0,∞)u\in(0,\infty) 上,UU 具有连续密度 12πe−u2/2\frac{1}{\sqrt{2\pi}}e^{-u^2/2}。

用分布函数 FU(u)=P(U≤u)F_U(u)=\mathbb P(U\le u) 来写,它在 u<0u<0 时恒为 00,在 u=0u=0 处发生一次高度为 12\frac{1}{2} 的跳跃(FU(0)=12F_U(0)=\frac{1}{2}),随后在 u>0u>0 上按标准正态分布函数 Φ(u)\Phi(u) 光滑爬升至 11。若用测度论的符号写出 UU 的分布测度 μU\mu_U,它正是离散测度与绝对连续测度的混合:

μU(du)=12 δ0(du)+12πe−u2/21(0,∞)(u) du. \mu_U(\mathrm du) = \frac{1}{2}\,\delta_0(\mathrm du) + \frac{1}{\sqrt{2\pi}}e^{-u^2/2}\mathbf 1_{(0,\infty)}(u)\,\mathrm du.

降维映射与终极统一:Federer 余面积公式(Coarea Formula)

最后,我们来看第四类问题:如果映射 g:Rn→Rg:\mathbb R^n\to\mathbb R 是一个把 nn 维随机向量 X=(X1,…,Xn)X=(X_1,\dots,X_n) 变成一维标量随机变量 U=g(X)U=g(X) 的降维映射(例如在 4.5 节从二维正态 (X,Y)(X,Y) 求极径 R=X2+Y2R=\sqrt{X^2+Y^2},或在 4.6 节求两变量之和 Z=X+YZ=X+Y),我们能不能不引入任何多余的辅助变量(比如不引入极角 Θ\Theta、不引入辅助坐标 W=YW=Y),直接一步写出 U=g(X)U=g(X) 的概率密度函数 fU(u)f_U(u)?

让我们对比一下已经见过的两个定理:

g(x) = u g(x) = u + du dHⁿ⁻¹(σ) dn = du / ‖∇g‖₂

沿着等值面 g(x)=ug(x)=u 做分层切片:相邻两层等值面 {g=u}\{g=u\} 与 {g=u+du}\{g=u+\mathrm du\} 之间的法向宽度为 dn=du∥∇g(σ)∥2\mathrm dn=\frac{\mathrm du}{\|\nabla g(\sigma)\|_2},故体积微元拆为 dx=1∥∇g∥2 dHn−1(σ) du\mathrm dx = \frac{1}{\|\nabla g\|_2}\,\mathrm d\mathcal H^{n-1}(\sigma)\,\mathrm du。

现在把这两件事合二为一:当 g:Rn→Rg:\mathbb R^n\to\mathbb R 是高维空间上的标量函数时,对于每个实数 u∈Ru\in\mathbb R,它的水平集(等值面)

g−1({u})={x∈Rn  ∣  g(x)=u} g^{-1}\bigl(\{u\}\bigr) = \bigl\{x\in\mathbb R^n \;\big|\; g(x)=u\bigr\}

不再是孤立点,而是 Rn\mathbb R^n 中的一张 (n−1)(n-1) 维超曲面(例如在二维平面上是等高线曲线,在三维空间中是等值曲面)!如右图所示,如果我们不再沿着死板的直角坐标轴切片,而是顺着函数 gg 自身的等值面 {g(x)=u}\{g(x)=u\} 一层层做“弯曲的分层切片”,会发生什么呢?

在等值面 g(x)=ug(x)=u 上的任意一点 σ\sigma 处,函数 gg 变化最快的方向是梯度向量 ∇g(σ)=(∂g∂x1,…,∂g∂xn)⊤\nabla g(\sigma)=\bigl(\frac{\partial g}{\partial x_1},\dots,\frac{\partial g}{\partial x_n}\bigr)^\top(它垂直于等值面),变化率的大小就是梯度的欧氏模长 ∥∇g(σ)∥2\|\nabla g(\sigma)\|_2。因此,当我们沿着法线方向从等值面 {g=u}\{g=u\} 跨到相邻的等值面 {g=u+du}\{g=u+\mathrm du\} 时,由于 du≈∥∇g(σ)∥2 dn\mathrm du \approx \|\nabla g(\sigma)\|_2\,\mathrm dn,这两层等值面之间的法向宽度(层距)恰好是

dn=du∥∇g(σ)∥2! \mathrm dn = \frac{\mathrm du}{\|\nabla g(\sigma)\|_2} !

注意看:哪里梯度 ∥∇g∥2\|\nabla g\|_2 越大(函数变化越急),等值面就越密集,两层之间的法向宽度 dn\mathrm dn 就越窄;哪里梯度越小(函数变化越缓),两层之间的法向宽度就越宽!用等值面上的 (n−1)(n-1) 维表面积微元(在测度论中严格定义为 (n−1)(n-1) 维 Hausdorff 测度 dHn−1(σ)\mathrm d\mathcal H^{n-1}(\sigma):当 n=2n=2 时就是曲线的弧长微元 ds\mathrm ds,当 n=3n=3 时是曲面的面积微元 dS\mathrm dS,当 n=1n=1 时 H0\mathcal H^0 就是数点个数的计数测度)乘上法向宽度 dn\mathrm dn,就得到了 nn 维体积微元的精确分解:

dx=dn⋅dHn−1(σ)=1∥∇g(σ)∥2 dHn−1(σ) du. \mathrm dx = \mathrm dn\cdot\mathrm d\mathcal H^{n-1}(\sigma) = \frac{1}{\|\nabla g(\sigma)\|_2}\,\mathrm d\mathcal H^{n-1}(\sigma)\,\mathrm du.

美国数学家 Herbert Federer 于 1959 年在创建现代几何测度论时证明:上面这个极具几何直观的切片思想,甚至不需要 gg 处处光滑可微——只要 gg 是 Lipschitz 连续函数(即存在常数 LL 使得 ∣g(x)−g(y)∣≤L∥x−y∥2|g(x)-g(y)|\le L\|x-y\|_2,这包含了 ∣x∣|x|、max⁡(x,y)\max(x,y)、ReLU(x)\mathrm{ReLU}(x) 等分段线性折线函数;根据实分析中的 Rademacher 定理,Lipschitz 函数必几乎处处可微),就可以严格写成下面带梯度权重的积分恒等式!这就是统一刻画积分换元与降维边缘化的 Federer 余面积公式:

定理 4.19 Federer 余面积公式与一般降维变换的密度公式

  1. (标量映射的 Federer 余面积公式) 设 g:Rn→Rg:\mathbb R^n\to\mathbb R 是 Lipschitz 连续函数。则对 Rn\mathbb R^n 上任意非负 Borel 可测(或可积)函数 ψ:Rn→R\psi:\mathbb R^n\to\mathbb R,有 ∫Rnψ(x) ∥∇g(x)∥2 dx=∫−∞∞(∫g−1({u})ψ(σ) dHn−1(σ))du, \int_{\mathbb R^n} \psi(x)\,\bigl\|\nabla g(x)\bigr\|_2\,\mathrm dx = \int_{-\infty}^\infty \left(\int_{g^{-1}(\{u\})} \psi(\sigma)\,\mathrm d\mathcal H^{n-1}(\sigma)\right)\mathrm du, 其中 Hn−1\mathcal H^{n-1} 是 Rn\mathbb R^n 上的 (n−1)(n-1) 维 Hausdorff 测度(即等值面 g−1({u})g^{-1}(\{u\}) 上的表面积/弧长/计数测度)。
  2. (一般变换 U=g(X)U=g(X) 的概率密度公式) 设 XX 在 Rn\mathbb R^n 上具有联合概率密度 fX(x)f_X(x),g:Rn→Rg:\mathbb R^n\to\mathbb R 为局部 Lipschitz 函数。若在支撑集上几乎处处有 ∥∇g(x)∥2>0\|\nabla g(x)\|_2 > 0(即不存在正测度的平坦段),则 U=g(X)U=g(X) 是绝对连续随机变量,且其概率密度函数由沿等值面 g−1({u})g^{-1}(\{u\}) 的曲面/曲线积分直接给出: fU(u)=∫g−1({u})fX(σ)∥∇g(σ)∥2 dHn−1(σ)(a.e. u∈R). f_U(u) = \int_{g^{-1}(\{u\})} \frac{f_X(\sigma)}{\bigl\|\nabla g(\sigma)\bigr\|_2}\,\mathrm d\mathcal H^{n-1}(\sigma)\qquad (\text{a.e. } u\in\mathbb R).

更一般的 mm 维余面积公式:Herbert Federer 在其 1959 年的奠基论文 Curvature Measures(以及 1969 年的巨著 Geometric Measure Theory 第 3.2.12 节)中证明了任意维数 g:Rn→Rmg:\mathbb R^n\to\mathbb R^m(n≥mn\ge m)的余面积公式:只需把梯度模长 ∥∇g∥2\|\nabla g\|_2 替换为 m×nm\times n 雅可比矩阵 JgJ_g 的 mm 维余面积雅可比因子(Coarea Jacobian)

Jmg:=det⁡(JgJg⊤), J_m g := \sqrt{\det(J_g J_g^\top)},

等值面上的积分测度替换为 dHn−m(σ)\mathrm d\mathcal H^{n-m}(\sigma)。当 m=nm=n 时,Jng=∣det⁡Jg∣J_n g=|\det J_g|,H0\mathcal H^0 为计数测度,它就退化为命题 4.16 和命题 4.18;当 m=1m=1 时,Jg=∇g⊤J_g=\nabla g^\top,故 det⁡(∇g⊤∇g)=∥∇g∥2\sqrt{\det(\nabla g^\top\nabla g)}=\|\nabla g\|_2,正是定理 4.19!

证明. 在承认第 1 条(Federer 余面积公式)的前提下,第 2 条的概率密度公式只需两行:由于 ∥∇g(x)∥2>0\|\nabla g(x)\|_2>0 a.e.,对任意非负 Borel 检验函数 ϕ:R→[0,∞)\phi:\mathbb R\to[0,\infty),我们在第 1 条的余面积公式中取

ψ(x):=ϕ(g(x)) fX(x)∥∇g(x)∥2. \psi(x) := \phi\bigl(g(x)\bigr)\,\frac{f_X(x)}{\bigl\|\nabla g(x)\bigr\|_2}.

注意到在每一层等值面 σ∈g−1({u})\sigma\in g^{-1}(\{u\}) 上恒有 g(σ)=ug(\sigma)=u,故 ϕ(g(σ))=ϕ(u)\phi(g(\sigma))=\phi(u) 可以直接提到内层曲面/曲线积分号外面:

E[ϕ(U)]=∫Rnϕ(g(x))fX(x) dx=∫Rnψ(x) ∥∇g(x)∥2 dx=∫−∞∞ϕ(u)(∫g−1({u})fX(σ)∥∇g(σ)∥2 dHn−1(σ))du, \begin{aligned} \mathbb E\bigl[\phi(U)\bigr] &= \int_{\mathbb R^n} \phi\bigl(g(x)\bigr) f_X(x)\,\mathrm dx = \int_{\mathbb R^n} \psi(x)\,\bigl\|\nabla g(x)\bigr\|_2\,\mathrm dx\\ &= \int_{-\infty}^\infty \phi(u)\left(\int_{g^{-1}(\{u\})} \frac{f_X(\sigma)}{\bigl\|\nabla g(\sigma)\bigr\|_2}\,\mathrm d\mathcal H^{n-1}(\sigma)\right)\mathrm du, \end{aligned}

由检验函数 ϕ\phi 的任意性,括号内的水平集积分即为 fU(u)f_U(u)。

站在定理 4.19 的高处往下看,我们在本章 4.5 节和 4.6 节费尽心力推导的三大核心公式,全都变成了余面积公式在不同等值面几何下的特例:

  1. 一维多对一换元(n=1n=1,恢复命题 4.18):当 n=1n=1 时,n−1=0n-1=0,零维 Hausdorff 测度 H0\mathcal H^0 就是数点个数的计数测度,而 ∥∇g(x)∥2=∣g′(x)∣\|\nabla g(x)\|_2=|g'(x)|。于是等值集 g−1({u})g^{-1}(\{u\}) 上的积分直接退化为对所有原像点的求和: fU(u)=∫g−1({u})fX(x)∣g′(x)∣ dH0(x)=∑x∈g−1({u})fX(x)∣g′(x)∣. f_U(u) = \int_{g^{-1}(\{u\})} \frac{f_X(x)}{|g'(x)|}\,\mathrm d\mathcal H^0(x) = \sum_{x\in g^{-1}(\{u\})} \frac{f_X(x)}{|g'(x)|}.
  2. 二维标准正态的极径分布(g(x,y)=x2+y2g(x,y)=\sqrt{x^2+y^2},恢复 4.5 节 例 4.5):设 (X,Y)∼N(0,I2)(X,Y)\sim\mathcal N(0,I_2),求模长 R=g(X,Y)=X2+Y2R=g(X,Y)=\sqrt{X^2+Y^2} 的密度 fR(r)f_R(r)(r>0r>0)。无需引入极角 θ\theta,直接算梯度: ∇g(x,y)=(xx2+y2, yx2+y2)⊤  ⟹  ∥∇g(x,y)∥2≡1! \nabla g(x,y) = \left(\frac{x}{\sqrt{x^2+y^2}},\,\frac{y}{\sqrt{x^2+y^2}}\right)^\top \implies \bigl\|\nabla g(x,y)\bigr\|_2 \equiv 1 ! 水平集 g−1({r})={(x,y):x2+y2=r2}g^{-1}(\{r\})=\{(x,y):x^2+y^2=r^2\} 是半径为 rr 的圆周 CrC_r。在圆周 CrC_r 上,被积函数 fX,Y(σ)1=12πe−r2/2\frac{f_{X,Y}(\sigma)}{1}=\frac{1}{2\pi}e^{-r^2/2} 是常数,而圆周的一维弧长测度就是周长 H1(Cr)=2πr\mathcal H^1(C_r)=2\pi r!两者相乘,一行心算立得 fR(r)=∫Cr12πe−r2/2 ds=2πr⋅12πe−r2/2=re−r2/2(r>0). f_R(r) = \int_{C_r} \frac{1}{2\pi}e^{-r^2/2}\,\mathrm ds = 2\pi r\cdot\frac{1}{2\pi}e^{-r^2/2} = r e^{-r^2/2}\qquad (r>0).
  3. 两随机变量之和的卷积公式(g(x,y)=x+yg(x,y)=x+y,恢复 4.6 节命题 4.17):求 Z=g(X,Y)=X+YZ=g(X,Y)=X+Y 的密度 fZ(z)f_Z(z)。梯度为常向量 ∇g(x,y)=(1,1)⊤\nabla g(x,y)=(1,1)^\top,故模长恒为 ∥∇g∥2=12+12=2\|\nabla g\|_2=\sqrt{1^2+1^2}=\sqrt{2}。水平集 g−1({z})g^{-1}(\{z\}) 是平面上斜率为 −1-1 的直线 Lz={(z−w, w)  ∣  w∈R}. L_z = \bigl\{(z-w,\,w) \;\big|\; w\in\mathbb R\bigr\}. 注意:当参数 ww 改变 dw\mathrm dw 时,点 σ(w)=(z−w,w)\sigma(w)=(z-w,w) 沿着斜线 LzL_z 移动的弧长微元是 dH1(σ)=(−1)2+12 dw=2 dw\mathrm d\mathcal H^1(\sigma)=\sqrt{(-1)^2+1^2}\,\mathrm dw = \sqrt{2}\,\mathrm dw!代入定理 4.19,分子上的弧长因子 2\sqrt{2} 与分母上的梯度模长 ∥∇g∥2=2\|\nabla g\|_2=\sqrt{2} 精确约掉: fZ(z)=∫LzfX,Y(σ)2 dH1(σ)=∫−∞∞fX,Y(z−w,w)2⋅2 dw=∫−∞∞fX,Y(z−w,w) dw, f_Z(z) = \int_{L_z} \frac{f_{X,Y}(\sigma)}{\sqrt{2}}\,\mathrm d\mathcal H^1(\sigma) = \int_{-\infty}^\infty \frac{f_{X,Y}(z-w,w)}{\sqrt{2}}\cdot\sqrt{2}\,\mathrm dw = \int_{-\infty}^\infty f_{X,Y}(z-w,w)\,\mathrm dw, 这就从纯粹的几何切片角度,解释了为什么我们在 4.6 节用辅助变量 W=YW=Y 算出的卷积公式前面没有任何多余的系数!

本章收束:从乘积空间到多变量合成的分析机器

回顾第四章的四个课次,我们完成了一次从底层测度论到经典概率算例的完整攀登:

  1. 地基(4.1 节):用单调类定理构造乘积测度 μ⊗ν\mu\otimes\nu,建立交换积分顺序的 Fubini–Tonelli 定理,并顺手一行证出非负尾积分公式 E[X]=∫0∞P(X>t) dt\mathbb E[X]=\int_0^\infty\mathbb P(X>t)\,\mathrm dt;
  2. 结构(4.2–4.4 节):将单变量的分布函数、独立性、密度函数与条件概率全面推广到多变量(μX,Y=μX⊗μY\mu_{X,Y}=\mu_X\otimes\mu_Y、E[XY]=E[X]E[Y]\mathbb E[XY]=\mathbb E[X]\mathbb E[Y]、边缘密度消元与条件密度 fY∣X=fX,Y/fXf_{Y\mid X}=f_{X,Y}/f_X),解决了圆环随机间距、等待时间悖论(弧长 2/32/3)、顺序统计量 Beta 密度以及拉普拉斯继起法则;
  3. 变换与合成(4.5–4.6 节及 4.7–4.8 选读节):通过雅可比行列式 ∣det⁡Jg∣|\det J_g| 刻画光滑映射下的密度变换(算出高斯积分 2π\sqrt{2\pi} 与单位球面均匀采样),再由线性换元导出独立和的卷积公式 fX+Y=fX∗fYf_{X+Y}=f_X*f_Y,攻克独立指数和 Γ(n,1)\Gamma(n,1) 与随机分裂连乘积;并在两节选读内容中进一步推导独立均匀和样条与圆环随机弧覆盖概率 φn(t)\varphi_n(t),以及将非双射、非光滑与降维变换统一于 Federer 余面积公式。

在下一章(第五章)中,我们将沿着本章已经浮现的指数分布与 Γ(n,1)\Gamma(n,1) 分布继续前行,正式进入连续时间里的随机到达与等待——泊松过程(Poisson Process)的世界。