当前位置：首页 > news >正文

scikit-learn/sklearn学习|岭回归解读

news 2025/8/12 11:07:33

【1】引言

前序学习进程中，对用scikit-learn表达线性回归进行了初步解读。
线性回归能够将因变量 $y$ 表达成由自变量 $x$ 、线性系数矩阵 $w$ 和截距 $b$ 组成的线性函数式：
$y=∑i=1nwi⋅xi+b=wTx+by=\sum_{i=1}^{n}w_{i}\cdot x_{i}+b=w^T{x}+b$ 实际上很多时候数据之间不一定是理想化的线性关系，所以需要对线性关系式进行修正，这个时候就可以考虑岭回归。

【2】岭回归的原理

岭回归是修正后的线性回归，所以描述岭回归，必须先会议线性回归。
在用scikit-learn表达线性回归中，我们在代码中使用了一个参数：均方误差。

【2.1】线性回归均方误差

对于线性回归，均方误差的计算式子为：
$L(w,b)=∑i=1n(yi−yi^)2=∑i=1n(yi−(wTxi+b))2L(w,b)=\sum_{i=1}^{n}(y_{i}-\hat{y_{i}})^2=\sum_{i=1}^{n}(y_{i}-(w^Tx_{i}+b))^2$ 在这里， $y$ 是第i个样本的真实值， $y^\hat{y}$ 是第i个样本的预测值。
线性回归的均方误差将真实值和预测值作差后求平方和即可。

【2.2】岭回归均方误差

岭回归相对于线性回归，均方误差的计算式子增加了对参数权重平方和的计算，称之为L2正则化惩罚项：
$L(w,b)=∑i=1n(yi−yi^)2+α∑j=1mwj2=∑i=1n(yi−(wTxi+b))2+α∑j=1mwj2L(w,b)=\sum_{i=1}^{n}(y_{i}-\hat{y_{i}})^2+\alpha\sum_{j=1}^{m}w_{j}^{2}=\sum_{i=1}^{n}(y_{i}-(w^Tx_{i}+b))^2+\alpha\sum_{j=1}^{m}w_{j}^{2}$ 在这里， $y$ 是第i个样本的真实值， $y^\hat{y}$ 是第i个样本的预测值。
新增加的L2正则化惩罚项 $α∑j=1mwj2\alpha\sum_{j=1}^{m}w_{j}^{2}$ 包括两部分：
第一部分 $α>0\alpha>0$ 代表正则化强度，可以控制对第二项惩罚的力度；
第二部分 $∑j=1mwj2\sum_{j=1}^{m}w_{j}^{2}$ 是所有线性系数的平方和。
当 $α\alpha$ 越大，惩罚项整体就会越大，这个时候往往需要将 $w_{j}$ 调小，也就是通过调整 $wj→0w_{j}\rightarrow 0$ 来避免过度拟合；
当 $α=0\alpha=0$ ，此时惩罚项不起作用，岭回归退化为线性回归。

【2.3】岭回归的意义

岭回归通过添加惩罚项解决了线性回归至少两个问题：
多重共线性，当变量之间高度相关时，在线性回归计算中可能获得极大的 $w_{j}$ ，通过惩罚项可以将这些参数下降到较小的范围，使得模型对数据波动的敏感性降低，从而获得更加稳健的效果；
过拟合，当变量过多或者噪声过大时，线性回归可能过度拟合数据，惩罚项通过将线性系数 $w_{j}$ 调小，让模型更倾向于关注整体趋势而非噪音。