第十二讲：概率法 III：洛瓦兹筛（Lovász Sieve）
洛瓦兹局部引理
给定一个坏事件的集合 \(\+B=\set{B_1,B_2,\dots,B_m}\) 满足 \(\Pr{B_i}<1\)，我们希望研究在满足怎样的条件下所有坏事件都不发生的概率非零。简单地应用 union bound，我们知道 \[ \Pr{\bigcup_{i=1}^m B_i}\leq \sum_{i=1}^m\Pr{B_i}. \] 因此，如果 \(\sum_{i=1}^m\Pr{B_i}<1\)，那么就有 \(\Pr{\bigcap_{i=1}^m \ol B_i}>0\)。显然这只是一个充分条件，并且我们能够想象出对于某些情况，这个条件是非常松的。我们考虑以下两种情况：
- 当所有的事件都是互斥的时候，我们知道，union bound 是紧的。在这种情况下，这些事件的相关性很大；
- 当所有事件都是相互独立的，我们有 \(\Pr{\bigcap_{i=1}^m \ol B_i}= \prod_{i=1}^m\Pr{\ol B_i}\)，也就是总有非零概率使得所有坏事件都不发生。这说明 union bound 在事件独立的场合离真实情况非常的远。
经过上述的讨论，很自然地我们想知道有没有一个推广版本的 union bound，能够利用到事件之间的相关性。今天我们将介绍著名的洛瓦兹局部引理（Lovász local lemma）。在这之前，我们先引入依赖图（dependency graph）来刻画事件之间的依赖关系。固定一个坏事件的集合 \(\+B=\set{B_1,B_2,\dots,B_m}\)。我们称无向图 \(G=([m],E)\) 为 \(\+B\) 的依赖图，当且仅当其满足下面这些条件：
在依赖图的定义中，如果 \(i\) 与 \(j\) 有边，我们不要求 \(B_i\) 与 \(B_j\) 是相关的。因此，事件集合 \(\+B\) 可能会有很多个不一样的依赖图。
- 每个顶点 \(i\in[m]\) 对应于事件 \(B_i\);
- 对于任意的\(i\in[m]\), 事件 \(B_i\) 独立于 \(\set{B_j\mid \set{i,j}\notin E}\)
令 \(d\) 是依赖图 \(G\) 的最大度数。直观上来说，越小的 \(d\) 反映了事件之间的相关性越低。例如，当所有的事件都是互斥的时候，\(G\) 一定是一个完全图。而当所有的事件都是相互独立的时候，边集 \(E\) 可以是空集。
Theorem 1 (洛瓦兹局部引理) 假设对于任意 \(i\in[m]\)，存在某个实数 \(p\in[0,1)\) 使得 \(\Pr{B_i}\leq p\)。如果 \(ep(d+1)<1\)，那么 \(\Pr{\bigcap_{i=1}^m\ol B_i}>0\)。
我们把洛瓦兹局部“引理”写作一个“定理”。定理里面的 \(e\approx 2.718\cdots\) 是自然对数。
这两个界离我们上面讨论的实际情况还有一些常数上的差距。实际上，洛瓦兹局部引理能达到的最优的界被称为 Shearer 界（Shearer (1985) ）。在 Shearer 界给出的条件下，洛瓦兹局部引理可以完全的推广独立和互斥的情况。
根据该引理，我们可以得出当事件互斥的时候，如果有 \(p<\frac{1}{en}\)，则坏事件都不发生的概率非零；而当事件相互独立的时候，如果 \(p<\frac{1}{e}\)，坏事件都不发生的概率非零。这两个界说明洛瓦兹局部引理确实能反映出这些事件之间的独立性。
Example 1 我们之前曾经讲过 Ramsey 数 \(R(k,k)>n\) 指的是对于包含 \(n\) 个顶点的完全图 \(K_n\)，存在一个边的染色方案，使得其中任意的 \(k\) 个顶点构成的完全子图 \(K_k\) 都不是单色的。对于每一个大小为 \(k\) 的顶点集合 \(S\in \binom{[n]}{k}\)，我们定义事件 \(B_S\) 为 “\(S\) 的导出子图 \(G[S]\) 是单色的”。使用 union bound，我们知道当 \(n\leq \tp{\frac{1}{e\sqrt{2}}+o(1)}k\cdot 2^{\frac{k}{2}}\) 时 \[ \Pr{\bigcup_{S\in\binom{[n]}{k}}B_S}\leq \binom{n}{k} 2^{1-\binom{k}{2}}<1. \] 因此我们有 \(R(k,k)>\tp{\frac{1}{e\sqrt{2}}+o(1)}k\cdot 2^{\frac{k}{2}}\)。接下来我们使用洛瓦兹局部引理改进这个结果。
我们先构造依赖图\(G\)，其中 \(B_S\) 和 \(B_T\) 相邻当且仅当 \(\abs{S\cap T}\geq 2\)。那么 \(d\leq \binom{k}{2}\binom{n-2}{k-2}\)。根据洛瓦兹局部引理，当 \(e\cdot\binom{k}{2}\binom{n-2}{k-2} 2^{1-\binom{k}{2}}<1\)时，存在一个染色的方案使得 \(K_n\) 不包含单色的大小为 \(k\) 的完全子图 \(K_k\)。因此我们得到关于Ramsey数的一个更好的下界 \[ R(k,k)>\tp{\frac{\sqrt{2}}{e}+o(1)}k\cdot 2^{\frac{k}{2}}. \]
我们称公式 \(\phi=C_1\wedge C_2\wedge \cdots\wedge C_m\) 为 \(k\)-合取范式，当且仅当如果每一个子句 \(C_j\) 都包含了正好 \(k\) 个文字（literals）。合取范式 \(\phi\) 的度数为 \(\Delta\) 指的是每一个变量最多出现在 \(\Delta\) 个子句中。
Example 2 (k-可满足性问题（\(k\)-SAT）) 给定一个度数为 \(\Delta\) 的 \(k\)-合取范式（\(k\)-CNF），我们称一个合取范式 \(\Phi\) 是可满足的，当且仅当存在一组变量上的赋值使得所有的子句都被满足。
我们可以使用洛瓦兹局部引理来给出合取范式可满足性的一个充分条件。首先，我们对于每个变量从集合 \(\set{\!{True},\!{False}}\) 上均匀地赋值并且定义坏事件 \(B_j\) 为子句 \(C_j\) 在给定的变量赋值上不满足。那么我们有 \(\Pr{B_j}\leq 2^{-k}\)。构造依赖图 \(G\) 为 \(B_i\sim B_j\) 当且仅当 \(C_i\) 和 \(C_j\) 有共用变量（\(i\neq j\)）。由于每个子句 \(C_j\) 都包含 \(k\) 个变量并且其中每个变量最多出现在 \(\Delta\) 个子句中（注意 \(C_j\) 也被统计在内），我们有这个依赖图的最大度 \(d\leq k(\Delta-1)\)。根据洛瓦兹局部引理，当 \(e\cdot{2^{-k}}(k\Delta)<1\) 时， 有非零的概率存在一组变量上的赋值使得所有子句都被成立，也即 \(\phi\) 在该条件可满足。
Example 3 (独立集) 给定一个最大度为 \(\Delta\) 的图 \(G=(V,E)\)。设 \(k=2e\Delta\)。将 \(V\) 任意划分为 \(m\) 个部分 \(V_1,\dots, V_m\) 并且每个顶点集合 \(V_i\) 的大小不小于 \(k\)，也即\(\abs{V_i}\geq k\)。我们想说明总是可以从每一个集合 \(V_i\) 中选取一个顶点 \(u_i\)，使得 \(u_1,u_2,\dots,u_m\) 构成了一个独立集。
不失一般性，我们可以认为 \(V_i\) 的大小是 \(k\)。否则我们可以对大小超过 \(k\) 的集合删掉一些点。如果我们能够从剩下的集合中选出特定大小的独立集，那么在原问题上也至少存在相应大小的独立集。对于每一个 \(i\in [m]\)，我们从每一个集合中均匀随机地选点。对于图中的每一条边 \(e=\set{v,w}\)，我们定义坏事件\(B_e\) 为“\(v\)和\(w\)都被选了出来”。那么\(\Pr{B_e}\leq \frac{1}{k^2}\)。在该概率空间下，我们可以构造一个依赖图满足 \(B_{e'}\sim B_e\) 当且仅当对于边 \(e'=\set{v',w'}\)，\(v'\) 和 \(w'\) 至少有一个出现在 \(v\) 或者 \(w\) 所在的分划中。因此，\(d< 2k\Delta-1\)。根据洛瓦兹局部引理，由于 \(\frac{e}{k^2}\cdot2k\Delta<1\)， 因此存在非 \(0\) 的概率使得选出的顶点构成原图中的一个独立集。
非对称洛瓦兹局部引理
注意到在更一般的情况下，坏事件发生的概率 \(\Pr{B_i}\) 可以是完全不一样的。因此，在 Theorem 1 中对于每个坏事件使用一个统一的上界显然不是最好的选择。我们接下来引入一个非对称版本的洛瓦兹局部引理。
在这里 \(N(B_i)\) 表示事件 \(B_i\) 在依赖图中的邻居构成的集合。
Theorem 2 (非对称洛瓦兹局部引理) 如果存在一个函数 \(x\colon \+B\to (0,1)\) 使得 \(\Pr{B_i}\leq x(B_i)\prod_{B_j\in N(B_i)} (1-x(B_j))\)，那么 \(\Pr{\cap_{i=1}^m \ol B_i}\geq \prod_{i=1}^m (1-x(B_i))>0\)。
在证明 Theorem 2 之前，我们首先展示 Theorem 1 是该非对称版本的一个特例。我们令 \(x(B_i)=\frac{1}{d+1}\)，那么 \[\begin{align*} x(B_i)\prod_{B_j\in N(B_i)} (1-x(B_j))&=\frac{1}{d+1}\tp{1-\frac{1}{d+1}}^{deg(B_i)}\\ &\geq \frac{1}{d+1}\tp{1-\frac{1}{d+1}}^d\geq \frac{e^{-1}}{d+1}. \end{align*}\] 因此，应用引理 Theorem 2，条件 \(ep(d+1)<1\) 就能推出 \(\Pr{\bigcap_{i=1}^m \ol B_i}>0\)。
Proof (Theorem 2 的证明). 对于任意顶点集合 \(S\subseteq [m]\)，令 \(F_S\defeq \bigcap_{i\in S}\ol B_i\)。我们断言，对于所有 \(i\notin S\)，\(\Pr{B_i\mid F_S}\leq x(B_i)\)。一旦该断言成立，那么我们就得出 \[ \Pr{\bigcap_{i=1}^m \ol B_i}=\prod_{i=1}^m \Pr{\ol B_i\mid \bigcap_{j<i} \ol B_j}=\prod_{i=1}^m\tp{1-\Pr{B_i\mid F_{[i-1]}}}\geq \prod_{i=1}^m \tp{1-x(B_i)}>0. \] 因此我们只需要证明，“对于所有 \(i\notin S\)， \(\Pr{B_i\mid F_S}\leq x(B_i)\)”。接下来，我们对 \(S\) 的大小使用归纳法进行证明：
当 \(S=\emptyset\) 时，我们的断言自然地成立。当集合 \(S\) 非空时，我们对集合中的事件按照是否与 \(B_i\) 在依赖图中相邻划分为 \(S_1\) 和 \(S_2\)。令 \(S_1\) 为 \(S\) 中所有 \(B_i\) 的邻居构成的集合。如果 \(S_1=\emptyset\)，那么所有 \(S\) 中的事件都和 \(B_i\) 独立。因此， \[ \Pr{B_i\mid F_S}=\Pr{B_i}\leq x(B_i)\prod_{B_j\in N(B_i)}(1-x(B_j)) \le x(B_i). \] 如果 \(S_1\) 非空，不失一般性，我们令 \(S_1=\set{1,2,\dots,r}\)。那么 \[\begin{align*} \Pr{B_i\mid F_S}&=\Pr{B_i\mid F_{S_1}\wedge F_{S_2}}\\ &=\frac{\Pr{B_i\wedge F_{S_1}\wedge F_{S_2}}}{\Pr{F_{S_1}\wedge F_{S_2}}}=\frac{\Pr{B_i\wedge F_{S_1}\mid F_{S_2}}}{\Pr{F_{S_1}\mid F_{S_2}}}. \end{align*}\] 由于 \(B_i\) 和 \(F_{S_2}\) 是独立的 \[\begin{align*} \Pr{B_i\wedge F_{S_1}\mid F_{S_2}}\leq \Pr{B_i\mid F_{S_2}}=\Pr{B_i}\leq x(B_i)\prod_{B_j\in N(B_i)} (1-x(B_j)). \end{align*}\] 根据归纳假设，我们有 \[\begin{align*} \Pr{F_{S_1} \mid F_{S_2}}&=\prod_{i=1}^r \Pr{\ol B_i\mid \bigcap_{k<i} \ol B_k \cap F_{S_2}}\\ &=\prod_{i=1}^r\tp{1-\Pr{ B_i\mid \bigcap_{k<i} \ol B_k \cap F_{S_2}}}\\ &\geq \prod_{i=1}^r\tp{1-x\tp{ B_i}}\\ &\geq \prod_{B_j\in N(B_i)}(1-x(B_j)). \end{align*}\] 因此， \[ \Pr{B_i\mid F_S}=\frac{\Pr{B_i\wedge F_{S_1}\mid F_{S_2}}}{\Pr{F_{S_1}\mid F_{S_2}}}\leq \frac{x(B_i)\prod_{B_j\in N(B_i)} (1-x(B_j))}{\prod_{B_j\in N(B_i)}(1-x(B_j))}\leq x(B_i). \]
Example 4 (非对称Ramsey数) 非对称Ramsey数 \(R(k,\ell)>n\) 指的是存在对 \(K_n\) 的边的染色方案（颜色为蓝色或红色），使得既不包含一个蓝色的 \(K_k\) 也不包含一个红色的 \(K_{\ell}\) 作为子图。接下来我们考虑 \(\ell=3\) 的情况，也就是研究 \(R(k,3)\) 的下界。
对于任意大小为 \(3\) 的集合 \(S\in \binom{[n]}{3}\)，定义事件 \(A_S\) 为 \(S\) 的导出子图 \(G[S]\) 是红色的 \(K_3\)。对于所有大小为 \(k\) 的集合 \(T\in \binom{[n]}{k}\)，定义事件 \(B_T\) 为 \(T\) 的导出子图 \(G[T]\) 是蓝色的 \(K_k\)。相应地我们构造依赖图 \(H\)，并定义 \(A\) 和 \(B\) 分别为所有事件 \(A_S\) 和 \(B_T\) 构成的集合。令 \(d_{B}(A_S)\) 为 \(B\) 中和事件 \(A_S\) 在依赖图相邻的事件的数量。并定义 \(d_{B}(A_S)=\max_{a\in A_S}d_{B}(a)\)。类似地，我们可以定义 \(d_{A}(A_S)\), \(d_{A}(B_T)\) 和 \(d_B(B_T)\)。那么我们有 \(d_{A}(A_S)\leq 3(n-3)\)，\(d_{B}(A_S)\leq \binom{n}{k}\)，\(d_{A}(B_T)\leq \binom{k}{2}(n-2)<\frac{k^2n}{2}\) 以及 \(d_B(B_T)\leq \binom{n}{k}\)。
我们把每条边以 \(p\) 的概率染成红色，以 \(1-p\) 的概率染成蓝色。接着我们定义两个函数 \(X\) 和\(Y\)，使得对于任意 \(S\in \binom{[n]}{3}\) 和 \(T\in \binom{[n]}{k}\)，\(X(A_S)= x\) 以及 \(Y(B_T)= y\)，其中 \(x\) 和 \(y\) 是 \((0,1)\) 中的两个待定常数。
如果 \(p\) 满足以下的约束：
- 对于 \(A_S\)，\(\Pr{A_S}=p^3\leq x (1-x)^{3(n-3)}(1-y)^{\binom{n}{k}}\)；
- 对于所有的集合\(B_T\)， \(\Pr{B_T}=(1-p)^{\binom{k}{2}}\leq y(1-x)^{\frac{k^2n}{2}}(1-y)^{\binom{n}{k}}\)。
那么根据非对称洛瓦兹局部引理，存在一个染色使得所有事件 \(A\cup B\) 都不发生。可以验证，当 \(n=O\tp{\frac{k^2}{\log k}}\)，上述两个约束都有可行解\(\tp{p,x,y}\)。这就说明存在某些常数 \(c\) 使得 \(R(k,3)> c\cdot \frac{k^2}{\log k}\)。
相似的论述能够证明 \(R(k,4) > k^{5/2+o(1)}\)。这是目前我们知道关于 \(R(k,4)\) 的最好的下界。
算法化洛瓦兹局部引理
我们之前讨论的洛瓦兹局部引理均是存在性的结论，即证明了概率空间中至少有一个样本点满足我们想要的条件。对于计算机科学来说，我们更加关心的是能否高效的找到这样的样本点。以 \(k\)-合取范式的可满足性为例，Example 2 说明了在满足局部引理的条件下，公式 \(\Phi\) 一定存在一组可满足解。能否在类似的条件下高效的找到这组解一直是理论计算机科学领域的重要问题。设 \(\Phi=C_1\wedge C_2\wedge \cdots \wedge C_m\)，其中 \(C_j=x_{j_1}\vee x_{j_2}\vee \cdots \vee x_{j_k}\)。一个最简单的想法是不停的随机选取一组变量的赋值，直到找到那个可满足的赋值为止。容易看到，如果赋值满足合取范式的概率为 \(\frac{1}{\!{poly}(m)}\)，这个方法就可以在期望多项式的时间内找到可满足的赋值。但实际上，存在满足局部引理的公式，使得一个均匀随机的赋值满足该公式的概率是指数小的，因此，这个简单的采样算法不是一个高效的算法。
在 2009 年的一个突破性工作中，R. Moser (Moser (2009) ) 给出了一个十分简单算法，并成功证明了这个算法在期望线性的时间内就可以找到一组可满足解。相比于直接对全部变量进行重新赋值，该算法考虑只对没被满足的子句上的变量进行重新赋值。
\(N(C_i)\) 为 \(C_j\) 在依赖图中的邻居。
这个算法被称作 Moser’s fix 算法。他证明了在满足类似洛瓦兹局部引理的条件下，也即 \(d<2^{k-3}-1\)（\(d\) 为依赖图的最大度数，也即每个子句除自身外所能相关的子句的最大数目），期望意义上只需要调用 \(O(m)\) 次 \(\!{Fix}\) 子程序就会停止。
算法分析的大致想法如下：首先，我们注意到算法的运行过程可以被高效的编码。其次，我们可以通过算法的运行过程的编码还原出这个随机算法每一步使用的随机数。因此算法运行的越久，我们就能够得到越高效的一个对于随机数的编码方案。但是，下面定理保证，随机数串是不存在高效又正确的编码方案的，因此，算法的运行时间一定有一个上界。
Theorem 3 设 \(f:\set{0,1}^n \to \set{0,1}^*\) 是一个对长度为 \(n\) 的 \(01\) 串的编码（即 \(\set{0,1}^n \to \set{0,1}^*\) 的单射）。对任何 \(m\le n\)，定义 \(S_m = \set{x\in \set{0,1}^n\mid \abs{f(x)\le m}}\) 为所有被编码为长度不超过 \(m\) 的串的集合。那么对于一个均匀随机的 \(x\in\set{0,1}^n\) 有 \[ \Pr{x\in S_m} \le 2^{m+1-n}. \]
Proof. 由于 \(f\) 是单射，所以 \[ \Pr{x\in S_m} = \frac{\abs{S_m}}{2^n} \le (1+2+4+\dots +2^m)\cdot 2^{-n} \le 2^{m+1-n}. \]
对于该算法，我们首先有以下观察：
Proposition 1 从子程序 \(\!{Fix}(i)\) 返回主程序 \(\!{Solve}(\phi)\) 时，\(\!{Fix}(i)\) 执行前被满足的子句仍保持满足。
我们可以将算法的调用过程对应到按照某种规则生成的随机树结构，如 Figure 1 所示。该示例描述了算法的运行过程：在我们调用 \(\!{Solve}(\phi)\) 后，我们发现 \(C_{i_1}\) 并没有满足，因此我们调用 \(\!{Fix}(i_1)\)。在该子程序中，我们对 \(C_{i_1}\) 进行重新赋值并且其自身及相关的子句都在这次赋值后得到满足。然后我们回到上一层，发现 \(C_{i_2}\) 未满足，我们调用 \(\!{Fix}(i_2)\)。在对 \(C_{i_2}\) 的变量重新赋值后，我们发现 \(C_{i_3}\) 未满足，因此我们调用 \(\!{Fix}(i_3)\)。以此类推，直到算法回到递归的起点，并且所有子句都被满足。
假定我们知道子程序 \(\!{Fix}\) 被调用了 \(T\) 次，那么我们知道程序总共使用了 \(n+k\cdot T\) 个随机的比特。我们断言，利用树结构的信息，我们可以使用不超过 \(n+m+(\lceil\log_2 (d+1)\rceil+2)(T-1)\) 长的 \(01\) 串对这 \(n+k\cdot T\) 长的随机 \(01\) 串进行编码。换言之，我们通过记录树的结构和少量额外的信息，可以恢复出算法运行过程中的随机数。
具体来说，我们用 \(n\) 个随机数表示算法运行 \(T\) 步后变量的赋值；另外的 \((\lceil\log_2 (d+1)\rceil+2)(T-1)\) 个随机数用于表示树的结构。我们使用类似树的先序遍历的方式对树结构进行编码，具体如下：
根据 Proposition 1，我们知道每次回到 \(\!{Solve(\phi)}\) 时，初始赋值下不满足的子句并不会被破坏其满足性，因此我们可以使用 \(m\) 个随机数来表示起始赋值中每个子句是否被满足，也即记录根节点的孩子；
对于树中的每个节点 \(\!{Fix}(i)\)（除根节点 \(\!{Solve(\phi)}\)），由于他的孩子节点修改的子句是当前节点处理的子句的邻居或自身且 \(\abs{N(C_i)\cup\set{C_i}}\leq d+1\)，我们可以使用 \(\lceil\log (d+1)\rceil\) 个随机数来表示递归进入的是 \({N(C_i)\cup\set{C_i}}\) 中的哪个子句。同时，我们用一个额外的比特来表示当前结点在先序遍历中是进栈还是出栈。
由于根结点 \(\!{Solve(\phi)}\) 的孩子被 \(m\) 个随机数表示，所以用于对内部节点编码的随机数的数量不超过\((\lceil\log (d+1)\rceil+2)(T-1)\)。因此压缩用的随机数长度不超过 \((\lceil\log (d+1)\rceil+2)(T-1)+m\)。对于任意一个对应算法运行过程的随机串 \(\sigma\in \set{0,1}^*\)，我们使用 \(\!{Encode}(\sigma)\) 来表示上述的编码过程。
Proposition 2 对于任意 \(\sigma\in \set{0,1}^*\)，存在一个函数 \(\!{Decode}:\set{0,1}^* \to \set{0,1}^*\)，使得 \(\!{Decode}(\!{Encode}(\sigma))=\sigma\)。
Proof. 首先我们使用 \(\tau =\!{Encode}(\sigma)\) 中除了前 \(n\) 位的随机数来还原树结构。另外注意到在算法调用 \(\!{Fix}(j)\) 的时候，\(C_j\) 此时的赋值一定是使得 \(C_j\) 不满足的唯一赋值。因此，我们可以得到上一次对 \(C_j\) 中变量进行采样时候随机数是多少。如果在这一次调用 \(\!{Fix}(j)\) 之后，某一个变量再也没有被重新采样，那它在这一次调用 \(\!{Fix}(j)\) 时候的随机赋值被我们保存在了一开始的 \(n\) 个随机比特中。因此，我们能够用已有的信息唯一的确定 \(\sigma\)。
根据上述的讨论，我们知道如果算法在运行 \(T\) 步后仍然不停止，那么就能唯一地对应到长度为 \(n+m+(\lceil\log (d+1)\rceil+2)(T-1)\) 的 \(01\)串中的一个。根据 Theorem 3，这件事情发生的概率不超过\(\frac{2^{n+m+(\lceil\log (d+1)\rceil+2)T}}{2^{n+kT}}\le 2^{m-T}\)。因此算法运行 \(m+t\) 步后仍不停止的概率不超过 \(2^{-t}\)，也即算法在期望意义下只会调用 \(O(m)\) 次。