【返璞归真】-切比雪夫不等式（Chebyshev‘s Inequality）
切比雪夫不等式（Chebyshev’s Inequality）
切比雪夫不等式是概率论中的一个基本不等式，用于估计随机变量偏离其期望值一定范围的概率。它对于任何具有有限期望和有限方差的随机变量都成立。
公式表达
切比雪夫不等式的基本形式如下：
P ( ∣ X − μ ∣ ≥ k σ ) ≤ 1 k 2 , 其中 k > 0. P(|X - \mu| \geq k\sigma) \leq \frac{1}{k^2}, \quad \text{其中 } k > 0. P(∣X−μ∣≥kσ)≤k21,其中 k>0.
其中：
- X X X：随机变量
- μ = E [ X ] \mu = \mathbb{E}[X] μ=E[X]：随机变量的期望
- σ 2 = Var ( X ) = E [ ( X − μ ) 2 ] \sigma^2 = \text{Var}(X) = \mathbb{E}[(X - \mu)^2] σ2=Var(X)=E[(X−μ)2]：随机变量的方差
- σ = Var ( X ) \sigma = \sqrt{\text{Var}(X)} σ=Var(X)：标准差
- k k k：任意正实数，表示偏离标准差的倍数
解释
-
不等式意义：切比雪夫不等式表示随机变量 X X X偏离其期望值 μ \mu μ至少 k σ k\sigma kσ的概率不会超过 1 k 2 \frac{1}{k^2} k21。也就是说，随着 k k k增大，随机变量偏离期望值的概率迅速减少。
-
适用条件：切比雪夫不等式适用于任何随机变量 X X X，只要其期望值和方差有限。它对分布形状没有要求，因此适用于非对称分布或长尾分布等。
推导过程
切比雪夫不等式基于马尔可夫不等式：
P ( Y ≥ a ) ≤ E [ Y ] a , 其中 a > 0 , Y ≥ 0. P(Y \geq a) \leq \frac{\mathbb{E}[Y]}{a}, \quad \text{其中 } a > 0, Y \geq 0. P(Y≥a)≤aE[Y],其中 a>0,Y≥0.
通过定义 Y = ( X − μ ) 2 Y = (X - \mu)^2 Y=(X−μ)2并代入马尔可夫不等式：
- 定义：随机变量的偏差平方为 Y = ( X − μ ) 2 Y = (X - \mu)^2 Y=(X−μ)2，因此 Y ≥ 0 Y \geq 0 Y≥0，且 E [ Y ] = Var ( X ) = σ 2 \mathbb{E}[Y] = \text{Var}(X) = \sigma^2 E[Y]=Var(X)=σ2。
- 应用马尔可夫不等式：
P ( ( X − μ ) 2 ≥ k 2 σ 2 ) ≤ E [ ( X − μ ) 2 ] k 2 σ 2 . P((X - \mu)^2 \geq k^2\sigma^2) \leq \frac{\mathbb{E}[(X - \mu)^2]}{k^2\sigma^2}. P((X−μ)2≥k2σ2)≤k2σ2E[(X−μ)2]. - 简化右边的分母：
P ( ( X − μ ) 2 ≥ k 2 σ 2 ) ≤ σ 2 k 2 σ 2 = 1 k 2 . P((X - \mu)^2 \geq k^2\sigma^2) \leq \frac{\sigma^2}{k^2\sigma^2} = \frac{1}{k^2}. P((X−μ)2≥k2σ2)≤k2σ2σ2=k21. - 注意到 ( X − μ ) 2 ≥ k 2 σ 2 ⟺ ∣ X − μ ∣ ≥ k σ (X - \mu)^2 \geq k^2\sigma^2 \iff |X - \mu| \geq k\sigma (X−μ)2≥k2σ2⟺∣X−μ∣≥kσ，因此：
P ( ∣ X − μ ∣ ≥ k σ ) ≤ 1 k 2 . P(|X - \mu| \geq k\sigma) \leq \frac{1}{k^2}. P(∣X−μ∣≥kσ)≤k21.
应用举例
- 质量控制：在工业生产中，用切比雪夫不等式估计产品参数偏离标准值一定范围的概率。
- 数据分析：对于缺乏分布信息的随机变量，切比雪夫不等式提供了一个分布无关的概率界限。
- 金融领域：用于估算金融资产回报率偏离期望值的概率。
直观理解
切比雪夫不等式的保守性体现在其仅利用方差和期望的信息，而不依赖分布的形状。例如：
- k = 2 k = 2 k=2：表示偏离期望值至少2个标准差的概率不会超过 1 4 = 25 % \frac{1}{4} = 25\% 41=25%。
- k = 3 k = 3 k=3：表示偏离期望值至少3个标准差的概率不会超过 1 9 ≈ 11.1 % \frac{1}{9} \approx 11.1\% 91≈11.1%。
切比雪夫不等式保证了对极端值概率的一个上界，但这个界限通常较为宽松。
切比雪夫不等式有多种通用形式，适用于不同的随机变量表达方式。以下是几种常见形式：
1. 标准形式（经典形式）
P ( ∣ X − μ ∣ ≥ k σ ) ≤ 1 k 2 , k > 0. P(|X - \mu| \geq k\sigma) \leq \frac{1}{k^2}, \quad k > 0. P(∣X−μ∣≥kσ)≤k21,k>0.
其中：
- μ = E [ X ] \mu = \mathbb{E}[X] μ=E[X]：随机变量的期望
- σ 2 = Var ( X ) \sigma^2 = \text{Var}(X) σ2=Var(X)：随机变量的方差
- k k k：偏离标准差的倍数
这是最常用的切比雪夫不等式形式，表明随机变量偏离其期望值的概率不会超过某一上界。
2. 分布无关形式
对于任意随机变量 X X X，具有有限的期望 μ \mu μ和方差 σ 2 \sigma^2 σ2：
P ( ∣ X − a ∣ ≥ b ) ≤ σ 2 b 2 , b > 0. P(|X - a| \geq b) \leq \frac{\sigma^2}{b^2}, \quad b > 0. P(∣X−a∣≥b)≤b2σ2,b>0.
- a a a：可以是任意常数（通常取为 μ = E [ X ] \mu = \mathbb{E}[X] μ=E[X]）。
- b b b：表示偏离的范围。
这是一种更广义的形式，适用于任何常数中心点 a a a。
3. 非对称形式
对于随机变量 X X X和任意正数 ϵ > 0 \epsilon > 0 ϵ>0，我们可以对正负偏差进行不同的估计：
- 正偏差（右尾概率）：
P ( X − μ ≥ ϵ ) ≤ Var ( X ) ϵ 2 . P(X - \mu \geq \epsilon) \leq \frac{\text{Var}(X)}{\epsilon^2}. P(X−μ≥ϵ)≤ϵ2Var(X). - 负偏差（左尾概率）：
P ( X − μ ≤ − ϵ ) ≤ Var ( X ) ϵ 2 . P(X - \mu \leq -\epsilon) \leq \frac{\text{Var}(X)}{\epsilon^2}. P(X−μ≤−ϵ)≤ϵ2Var(X).
这两个不等式将切比雪夫不等式拆分成单侧偏差的概率估计。
4. 概率离散化形式
设随机变量 X X X的概率分布是离散的，且具有有限的数学期望和方差，则切比雪夫不等式可以写成：
∑ ∣ X − μ ∣ ≥ k σ P ( X ) ≤ 1 k 2 . \sum_{|X - \mu| \geq k\sigma} P(X) \leq \frac{1}{k^2}. ∣X−μ∣≥kσ∑P(X)≤k21.
- 这里的 ∑ ∣ X − μ ∣ ≥ k σ \sum_{|X - \mu| \geq k\sigma} ∑∣X−μ∣≥kσ表示所有使得随机变量 X X X偏离其期望值 μ \mu μ至少 k σ k\sigma kσ的离散值的概率总和。
5. 归一化形式（标准正态化）
将随机变量 X X X标准化为零均值单位方差的形式 X − μ σ \frac{X - \mu}{\sigma} σX−μ，切比雪夫不等式可以写为：
P ( ∣ X − μ σ ∣ ≥ k ) ≤ 1 k 2 , k > 0. P\left(\left|\frac{X - \mu}{\sigma}\right| \geq k\right) \leq \frac{1}{k^2}, \quad k > 0. P( σX−μ ≥k)≤k21,k>0.
这一形式特别适合对归一化随机变量进行概率界限的估计。
6. 期望导出形式
对于非中心点的偏差概率（例如偏离一个常数 a a a）：
P ( ∣ X − a ∣ ≥ ϵ ) ≤ E [ ( X − a ) 2 ] ϵ 2 , ϵ > 0. P(|X - a| \geq \epsilon) \leq \frac{\mathbb{E}[(X - a)^2]}{\epsilon^2}, \quad \epsilon > 0. P(∣X−a∣≥ϵ)≤ϵ2E[(X−a)2],ϵ>0.
此形式直接利用二阶矩 E [ ( X − a ) 2 ] \mathbb{E}[(X - a)^2] E[(X−a)2]，可以灵活应用于非对称分布或不同的中心点。
总结
这些形式的核心思想是一致的：用有限的期望和方差信息估计随机变量偏离的概率。根据具体问题的背景（对称性、中心点选择、分布特性等），可以选择合适的形式。