引理1的详细推导过程
引理1陈述
若分布 P P P 和 Q Q Q 满足：
D ∞ ( P ∥ Q ) ≤ ϵ 且 D ∞ ( Q ∥ P ) ≤ ϵ , D_\infty(P \parallel Q) \leq \epsilon \quad \text{且} \quad D_\infty(Q \parallel P) \leq \epsilon, D∞(P∥Q)≤ϵ且D∞(Q∥P)≤ϵ,
则对任意 α ≥ 1 \alpha \geq 1 α≥1，有：
D α ( P ∥ Q ) ≤ 2 α ϵ 2 . D_\alpha(P \parallel Q) \leq 2\alpha \epsilon^2. Dα(P∥Q)≤2αϵ2.
证明步骤解析
步骤1：拆分两种情况
当 α ≥ 1 + 1 ϵ \alpha \geq 1 + \frac{1}{\epsilon} α≥1+ϵ1
由Rényi散度的单调性，对 α ≥ 1 \alpha \geq 1 α≥1，有：
D α ( P ∥ Q ) ≤ D ∞ ( P ∥ Q ) = ϵ . D_\alpha(P \parallel Q) \leq D_\infty(P \parallel Q) = \epsilon. Dα(P∥Q)≤D∞(P∥Q)=ϵ.
由于 α − 1 ≥ 1 ϵ \alpha - 1 \geq \frac{1}{\epsilon} α−1≥ϵ1，进一步可得：
ϵ ≤ ( α − 1 ) ϵ 2 ⟹ D α ( P ∥ Q ) ≤ ( α − 1 ) ϵ 2 ≤ 2 α ϵ 2 . \epsilon \leq (\alpha - 1)\epsilon^2 \implies D_\alpha(P \parallel Q) \leq (\alpha - 1)\epsilon^2 \leq 2\alpha \epsilon^2. ϵ≤(α−1)ϵ2⟹Dα(P∥Q)≤(α−1)ϵ2≤2αϵ2.
此时引理成立。当 α < 1 + 1 ϵ \alpha < 1 + \frac{1}{\epsilon} α<1+ϵ1
这是证明的核心部分，需通过不等式展开和积分分析。
步骤2：关键不等式推导
对任意 x > y > 0 x > y > 0 x>y>0，令 λ = log ( x / y ) \lambda = \log(x/y) λ=log(x/y)，且 0 ≤ β ≤ 1 / λ 0 \leq \beta \leq 1/\lambda 0≤β≤1/λ，有以下不等式：
x β + 1 y − β + x − β y β + 1 = x e β λ + y e − β λ ≤ ( 1 + ( β λ ) 2 ) ( x + y ) + β λ ( x − y ) . x^{\beta+1} y^{-\beta} + x^{-\beta} y^{\beta+1} = x e^{\beta \lambda} + y e^{-\beta \lambda} \leq (1 + (\beta \lambda)^2)(x + y) + \beta \lambda (x - y). xβ+1y−β+x−βyβ+1=xeβλ+ye−βλ≤(1+(βλ)2)(x+y)+βλ(x−y).
推导依据：
- 指数函数的二次上界：当 t = β λ ∈ [ 0 , 1 ] t = \beta \lambda \in [0, 1] t=βλ∈[0,1] 时，
e t ≤ 1 + t + t 2 且 e − t ≤ 1 − t + t 2 . e^t \leq 1 + t + t^2 \quad \text{且} \quad e^{-t} \leq 1 - t + t^2. et≤1+t+t2且e−t≤1−t+t2.
代入后展开并合并同类项即得不等式。
步骤3：应用于Rényi散度的积分
对 α < 1 + 1 ϵ \alpha < 1 + \frac{1}{\epsilon} α<1+ϵ1，令 β = α − 1 \beta = \alpha - 1 β=α−1，则 β ≤ 1 / ϵ \beta \leq 1/\epsilon β≤1/ϵ，且 β λ ≤ β ϵ ≤ 1 \beta \lambda \leq \beta \epsilon \leq 1 βλ≤βϵ≤1，满足不等式条件。
展开Rényi散度的指数形式：
exp [ ( α − 1 ) D α ( P ∥ Q ) ] = ∫ P ( x ) α Q ( x ) 1 − α d x . \exp\left[ (\alpha-1)D_\alpha(P \parallel Q) \right] = \int P(x)^\alpha Q(x)^{1-\alpha} dx. exp[(α−1)Dα(P∥Q)]=∫P(x)αQ(x)1−αdx.
由于 D α ( Q ∥ P ) ≥ 0 D_\alpha(Q \parallel P) \geq 0 Dα(Q∥P)≥0，可添加对称项并减去1：
∫ P α Q 1 − α d x ≤ ∫ ( P α Q 1 − α + Q α P 1 − α ) d x − 1. \int P^\alpha Q^{1-\alpha} dx \leq \int \left( P^\alpha Q^{1-\alpha} + Q^\alpha P^{1-\alpha} \right) dx - 1. ∫PαQ1−αdx≤∫(PαQ1−α+QαP1−α)dx−1.应用关键不等式：
令 x = P ( x ) x = P(x) x=P(x), y = Q ( x ) y = Q(x) y=Q(x)，代入步骤2的不等式：
P α Q 1 − α + Q α P 1 − α ≤ ( 1 + ( β λ ) 2 ) ( P + Q ) + β λ ∣ P − Q ∣ . P^\alpha Q^{1-\alpha} + Q^\alpha P^{1-\alpha} \leq \left( 1 + (\beta \lambda)^2 \right)(P + Q) + \beta \lambda |P - Q|. PαQ1−α+QαP1−α≤(1+(βλ)2)(P+Q)+βλ∣P−Q∣.
其中 λ = log ( P / Q ) ≤ ϵ \lambda = \log(P/Q) \leq \epsilon λ=log(P/Q)≤ϵ，故 ( β λ ) 2 ≤ ( β ϵ ) 2 = ( α − 1 ) 2 ϵ 2 (\beta \lambda)^2 \leq (\beta \epsilon)^2 = (\alpha - 1)^2 \epsilon^2 (βλ)2≤(βϵ)2=(α−1)2ϵ2。积分处理：
对积分进行分解：
∫ ( 1 + ( α − 1 ) 2 ϵ 2 ) ( P + Q ) d x + ( α − 1 ) ϵ ∫ ∣ P − Q ∣ d x . \int \left( 1 + (\alpha - 1)^2 \epsilon^2 \right)(P + Q) dx + (\alpha - 1)\epsilon \int |P - Q| dx. ∫(1+(α−1)2ϵ2)(P+Q)dx+(α−1)ϵ∫∣P−Q∣dx.- 第一项积分： ∫ ( P + Q ) d x = 2 \int (P + Q) dx = 2 ∫(P+Q)dx=2，故：
( 1 + ( α − 1 ) 2 ϵ 2 ) ⋅ 2. \left( 1 + (\alpha - 1)^2 \epsilon^2 \right) \cdot 2. (1+(α−1)2ϵ2)⋅2. - 第二项积分： ( α − 1 ) ϵ ⋅ ∥ P − Q ∥ 1 (\alpha - 1)\epsilon \cdot \|P - Q\|_1 (α−1)ϵ⋅∥P−Q∥1。
整体结果为：
2 ( 1 + ( α − 1 ) 2 ϵ 2 ) + ( α − 1 ) ϵ ∥ P − Q ∥ 1 − 1. 2\left( 1 + (\alpha - 1)^2 \epsilon^2 \right) + (\alpha - 1)\epsilon \|P - Q\|_1 - 1. 2(1+(α−1)2ϵ2)+(α−1)ϵ∥P−Q∥1−1.
化简为：
1 + 2 ( α − 1 ) 2 ϵ 2 + ( α − 1 ) ϵ ∥ P − Q ∥ 1 . 1 + 2(\alpha - 1)^2 \epsilon^2 + (\alpha - 1)\epsilon \|P - Q\|_1. 1+2(α−1)2ϵ2+(α−1)ϵ∥P−Q∥1.- 第一项积分： ∫ ( P + Q ) d x = 2 \int (P + Q) dx = 2 ∫(P+Q)dx=2，故：
步骤4：处理 ∥ P − Q ∥ 1 \|P - Q\|_1 ∥P−Q∥1 的界
- L1范数的表达式：
∥ P − Q ∥ 1 = ∫ ∣ P ( x ) − Q ( x ) ∣ d x . \|P - Q\|_1 = \int |P(x) - Q(x)| dx. ∥P−Q∥1=∫∣P(x)−Q(x)∣dx. - 分解为最小和最大项：
∥ P − Q ∥ 1 = ∫ min ( P , Q ) ∣ max ( P , Q ) min ( P , Q ) − 1 ∣ d x . \|P - Q\|_1 = \int \min(P, Q) \left| \frac{\max(P, Q)}{\min(P, Q)} - 1 \right| dx. ∥P−Q∥1=∫min(P,Q) min(P,Q)max(P,Q)−1 dx. - 利用 D ∞ D_\infty D∞ 的条件：
由 D ∞ ( P ∥ Q ) ≤ ϵ D_\infty(P \parallel Q) \leq \epsilon D∞(P∥Q)≤ϵ，得 max ( P Q , Q P ) ≤ e ϵ \max\left( \frac{P}{Q}, \frac{Q}{P} \right) \leq e^\epsilon max(QP,PQ)≤eϵ，因此：
∣ max ( P , Q ) min ( P , Q ) − 1 ∣ ≤ e ϵ − 1 ≤ 2 ϵ 2 ( 当 ϵ ≤ 1 ) . \left| \frac{\max(P, Q)}{\min(P, Q)} - 1 \right| \leq e^\epsilon - 1 \leq 2\epsilon^2 \quad (\text{当} \ \epsilon \leq 1). min(P,Q)max(P,Q)−1 ≤eϵ−1≤2ϵ2(当 ϵ≤1).
因此：
∥ P − Q ∥ 1 ≤ 2 ϵ 2 ⋅ ∫ min ( P , Q ) d x ≤ 2 ϵ 2 . \|P - Q\|_1 \leq 2\epsilon^2 \cdot \int \min(P, Q) dx \leq 2\epsilon^2. ∥P−Q∥1≤2ϵ2⋅∫min(P,Q)dx≤2ϵ2.
步骤5：结合所有项并取对数
将 ∥ P − Q ∥ 1 ≤ 2 ϵ 2 \|P - Q\|_1 \leq 2\epsilon^2 ∥P−Q∥1≤2ϵ2 代入步骤3的结果：
exp [ ( α − 1 ) D α ( P ∥ Q ) ] ≤ 1 + 2 ( α − 1 ) 2 ϵ 2 + 2 ( α − 1 ) ϵ 3 . \exp\left[ (\alpha-1)D_\alpha(P \parallel Q) \right] \leq 1 + 2(\alpha - 1)^2 \epsilon^2 + 2(\alpha - 1)\epsilon^3. exp[(α−1)Dα(P∥Q)]≤1+2(α−1)2ϵ2+2(α−1)ϵ3.
利用 log ( 1 + x ) ≤ x \log(1 + x) \leq x log(1+x)≤x 对两边取对数：
( α − 1 ) D α ( P ∥ Q ) ≤ 2 ( α − 1 ) 2 ϵ 2 + 2 ( α − 1 ) ϵ 3 . (\alpha - 1)D_\alpha(P \parallel Q) \leq 2(\alpha - 1)^2 \epsilon^2 + 2(\alpha - 1)\epsilon^3. (α−1)Dα(P∥Q)≤2(α−1)2ϵ2+2(α−1)ϵ3.
两边除以 ( α − 1 ) (\alpha - 1) (α−1)：
D α ( P ∥ Q ) ≤ 2 ( α − 1 ) ϵ 2 + 2 ϵ 3 ≤ 2 α ϵ 2 ( 因 α ≥ 1 ) . D_\alpha(P \parallel Q) \leq 2(\alpha - 1)\epsilon^2 + 2\epsilon^3 \leq 2\alpha \epsilon^2 \quad (\text{因} \ \alpha \geq 1). Dα(P∥Q)≤2(α−1)ϵ2+2ϵ3≤2αϵ2(因 α≥1).
关键点总结
- 指数函数的二次上界：核心在于将 e t e^t et 和 e − t e^{-t} e−t 用二次多项式近似，适用于小 t t t（即 α \alpha α 接近1）。
- 对称性处理：通过添加 Q α P 1 − α Q^\alpha P^{1-\alpha} QαP1−α 的积分，利用对称性简化分析。
- L1范数的控制：利用 D ∞ D_\infty D∞ 的条件将 ∥ P − Q ∥ 1 \|P - Q\|_1 ∥P−Q∥1 的界转化为 ϵ 2 \epsilon^2 ϵ2 的倍数。
- 参数范围适配：通过拆分 α \alpha α 的范围，分别处理大 α \alpha α 和小 α \alpha α 的情况，最终统一结果。
结论：在 D ∞ D_\infty D∞ 的约束下，Rényi散度 D α D_\alpha Dα 被二次放缩为 2 α ϵ 2 2\alpha \epsilon^2 2αϵ2，适用于所有 α ≥ 1 \alpha \geq 1 α≥1。