【机器学习】- L1L2 正则化操作
目录
- 0.引言
- 1.正则化的基本思想
- 2.L1 正则化
- 3.L2 正则化
- 4.L1 与 L2 正则化的比较
- 5.应用：控制模型复杂度
- 6.超参数 λ \lambda λ 的选择
- 7.总结
0.引言
在机器学习中，正则化是一种通过约束模型参数来控制模型复杂度的技术。它可以有效减少过拟合，提高模型的泛化能力。常见的正则化方法包括 L1 正则化 和 L2 正则化。
1.正则化的基本思想
在训练模型时，我们的目标是最小化损失函数。正则化通过在损失函数中加入一个正则化项，对模型参数施加约束，从而避免过于复杂的模型。
带有正则化的损失函数一般形式为：
损失函数 = 数据误差 + λ ⋅ 正则化项 \text{损失函数} = \text{数据误差} + \lambda \cdot \text{正则化项} 损失函数=数据误差+λ⋅正则化项
其中：
- 数据误差：如均方误差 (MSE) 或交叉熵损失。
- 正则化项：对模型参数的约束，如 L 1 L1 L1 或 L 2 L2 L2。
- λ \lambda λ：正则化强度（超参数），控制正则化项的权重。
2.L1 正则化
-
定义
L1 正则化的正则化项是模型参数的绝对值之和：R ( w ) = ∥ w ∥ 1 = ∑ i = 1 n ∣ w i ∣ R(\boldsymbol{w}) = \|\boldsymbol{w}\|_1 = \sum_{i=1}^n |w_i| R(w)=∥w∥1=i=1∑n∣wi∣
L1 正则化后的损失函数为：
L = 数据误差 + λ ∑ i = 1 n ∣ w i ∣ L = \text{数据误差} + \lambda \sum_{i=1}^n |w_i| L=数据误差+λi=1∑n∣wi∣
-
特性
- 通过惩罚参数的绝对值，鼓励某些参数变为零。
- 适合特征选择，因为它会自动剔除不重要的特征（参数为零）。
-
适用场景
- 特征数量较多，且希望通过稀疏性来筛选重要特征（如高维数据）。
3.L2 正则化
-
定义
L2 正则化的正则化项是模型参数的平方和：R ( w ) = ∥ w ∥ 2 2 = ∑ i = 1 n w i 2 R(\boldsymbol{w}) = \|\boldsymbol{w}\|_2^2 = \sum_{i=1}^n w_i^2 R(w)=∥w∥22=i=1∑nwi2
L2 正则化后的损失函数为：
L = 数据误差 + λ ∑ i = 1 n w i 2 L = \text{数据误差} + \lambda \sum_{i=1}^n w_i^2 L=数据误差+λi=1∑nwi2
-
特性
- 通过惩罚参数的平方值，鼓励模型参数较小但不为零。
- 与 L1 不同，它不会让参数变为完全零，而是接近零。
-
适用场景
- 当希望模型平滑，避免过度拟合时（如线性回归）。
4.L1 与 L2 正则化的比较
| 特性 | L1 正则化 | L2 正则化 |
|---|---|---|
| 正则化项 | ∣ w ∣ 1 = ∑ w i |\boldsymbol{w}|_1 = \sum w_i ∣w∣1=∑wi | ∣ w ∣ 2 2 = ∑ w i 2 |\boldsymbol{w}|_2^2 = \sum w_i^2 ∣w∣22=∑wi2 |
| 参数特性 | 产生稀疏解（参数可能为零） | 参数更平滑（接近零但不为零） |
| 特征选择 | 可以选择特征 | 不适用于特征选择 |
| 计算效率 | 非凸优化，计算复杂 | 凸优化，计算简单 |
| 适用场景 | 高维稀疏数据 | 常规数据，避免过拟合 |
5.应用：控制模型复杂度
-
减少过拟合
- 正则化通过限制参数的幅度，避免模型过度拟合训练数据中的噪声。
-
提高泛化能力
- 限制模型复杂度，使其在新数据上表现更稳定。
-
特征选择
- L1 正则化的稀疏性帮助自动选择重要特征。
6.超参数 λ \lambda λ 的选择
正则化强度 λ \lambda λ 是一个超参数，其值需要通过交叉验证或网格搜索来选择。
- λ \lambda λ 较小：
- 正则化效果弱，模型复杂度高，容易过拟合。
- λ \lambda λ 较大：
- 正则化效果强，模型复杂度低，可能导致欠拟合。
7.总结
正则化是控制模型复杂度的重要方法，通过引入 L1 或 L2 正则化项，既可以提高模型的泛化能力，又可以在某些场景下实现特征选择。合理设置正则化强度 λ \lambda λ，能够帮助模型在偏差与方差之间取得良好的平衡。