简单线性回归模型原理推导(最小二乘法)和案例解析

线性回归是一种用于建模自变量与因变量之间线性关系的统计方法，核心是通过最小化误差平方和估计模型参数。以下从数学原理推导和案例两方面详细说明。

一、线性回归模型的数学原理推导

1. 模型定义

线性回归假设因变量 y 与自变量 x 存在线性关系，具体分为：

• 简单线性回归（单自变量）：

$$y_i={\beta }_0+{\beta }_1{x}_i+{\epsilon }_i(i=1,2,...,n)$$

2. 参数估计：最小二乘法（OLS）

要详细推导 ${\mathbf{\beta }}_1=\frac{\sum ({\mathbf{x}}_{\mathbf{i}}-\bar{\mathbf{x}})({\mathbf{y}}_{\mathbf{i}}-\bar{\mathbf{y}})}{\sum ({\mathbf{x}}_{\mathbf{i}}-\bar{\mathbf{x}}{)}^2}$ 的过程，我们从 最小二乘法的正规方程 出发，逐步化简：

步骤 1：建立误差平方和与正规方程

简单线性回归模型为：
$$y_i={\beta }_0+{\beta }_1{x}_i+{\epsilon }_i(i=1,2,...,n)$$

误差平方和（SSE）为：
$$\text{SSE}=\sum _{i=1}^n(y_i-{\beta }_0-{\beta }_1{x}_i{)}^2$$

为最小化 SSE，对 ${\beta }_0$ 和 ${\beta }_1$ 求偏导并令其为 0，得到 正规方程：

（1）对 ${\beta }_0$ 求偏导

$$\frac{\partial \text{SSE}}{\partial {\beta }_0}=-2\sum _{i=1}^n(y_i-{\beta }_0-{\beta }_1{x}_i)=0$$

整理得：
$$\sum _{i=1}^n{y}_i=n{\beta }_0+{\beta }_1\sum _{i=1}^n{x}_i$$

两边除以 $n$（记 $\bar{x}=\frac{1}{n}\sum x_i$，$\bar{y}=\frac{1}{n}\sum y_i$，即样本均值），得：
$$\bar{y}={\beta }_0+{\beta }_1\bar{x}\Rightarrow {\mathbf{\beta }}_0=\bar{\mathbf{y}}-{\mathbf{\beta }}_1\bar{\mathbf{x}}\text{\hspace{1em}(1)}$$

（2）对 ${\beta }_1$ 求偏导

$$\frac{\partial \text{SSE}}{\partial {\beta }_1}=-2\sum _{i=1}^n{x}_i(y_i-{\beta }_0-{\beta }_1{x}_i)=0$$

整理得：
$$\sum _{i=1}^n{x}_i{y}_i={\beta }_0\sum _{i=1}^n{x}_i+{\beta }_1\sum _{i=1}^n{x}_i^2\text{\hspace{1em}(2)}$$

步骤 2：代入 ${\mathbf{\beta }}_0$ 的表达式到方程（2）

将式（1）${\mathbf{\beta }}_0=\bar{\mathbf{y}}-{\mathbf{\beta }}_1\bar{\mathbf{x}}$ 代入式（2），右边变为：
$$(\bar{y}-{\beta }_1\bar{x})\sum x_i+{\beta }_1\sum x_i^2$$

利用 $\sum x_i=n\bar{x}$（因为 $\bar{x}=\frac{1}{n}\sum x_i$），展开并整理：
$$\begin{array}{rl}\text{右边}& =\bar{y}\cdot n\bar{x}-{\beta }_1\bar{x}\cdot n\bar{x}+{\beta }_1\sum x_i^2\\ & =n\bar{x}\bar{y}+{\beta }_1\left(\sum x_i^2-n{\bar{x}}^2\right)\end{array}$$

步骤 3：化简方程求 ${\mathbf{\beta }}_1$

式（2）左边为 $\sum x_i{y}_i$，因此：
$$\sum x_i{y}_i=n\bar{x}\bar{y}+{\beta }_1\left(\sum x_i^2-n{\bar{x}}^2\right)$$

将左边的 $n\bar{x}\bar{y}$ 移到左边，得：
$$\sum x_i{y}_i-n\bar{x}\bar{y}={\beta }_1\left(\sum x_i^2-n{\bar{x}}^2\right)\text{\hspace{1em}(3)}$$

步骤 4：转化为离均差形式

（1）分子：$\sum x_i{y}_i-n\bar{x}\bar{y}$

展开 离均差 $(x_i-\bar{x})(y_i-\bar{y})$：
$$\begin{array}{rl}\sum (x_i-\bar{x})(y_i-\bar{y})& =\sum \left(x_i{y}_i-x_i\bar{y}-\bar{x}{y}_i+\bar{x}\bar{y}\right)\\ & =\sum x_i{y}_i-\bar{y}\sum x_i-\bar{x}\sum y_i+n\bar{x}\bar{y}\\ & =\sum x_i{y}_i-\bar{y}\cdot n\bar{x}-\bar{x}\cdot n\bar{y}+n\bar{x}\bar{y}(\text{因}\sum x_i=n\bar{x},\sum y_i=n\bar{y})\\ & =\sum x_i{y}_i-n\bar{x}\bar{y}\end{array}$$

因此，分子 $\sum x_i{y}_i-n\bar{x}\bar{y}=\sum (x_i-\bar{x})(y_i-\bar{y})$。

（2）分母：$\sum x_i^2-n{\bar{x}}^2$

展开离均差平方 $(x_i-\bar{x}{)}^2$：
$$\begin{array}{rl}\sum (x_i-\bar{x}{)}^2& =\sum \left(x_i^2-2x_i\bar{x}+{\bar{x}}^2\right)\\ & =\sum x_i^2-2\bar{x}\sum x_i+n{\bar{x}}^2\\ & =\sum x_i^2-2\bar{x}\cdot n\bar{x}+n{\bar{x}}^2(\text{因}\sum x_i=n\bar{x})\\ & =\sum x_i^2-n{\bar{x}}^2\end{array}$$

因此，分母 $\sum x_i^2-n{\bar{x}}^2=\sum (x_i-\bar{x}{)}^2$。

步骤 5：最终推导

将分子和分母的离均差形式代入式（3），得：
$${\mathbf{\beta }}_1=\frac{\sum ({\mathbf{x}}_{\mathbf{i}}-\bar{\mathbf{x}})({\mathbf{y}}_{\mathbf{i}}-\bar{\mathbf{y}})}{\sum ({\mathbf{x}}_{\mathbf{i}}-\bar{\mathbf{x}}{)}^2}$$

核心逻辑总结

1. 通过最小二乘法得到 两个正规方程，分别对应截距 ${\beta }_0$ 和斜率 ${\beta }_1$。
2. 利用 ${\beta }_0$ 与均值的关系（${\beta }_0=\bar{y}-{\beta }_1\bar{x}$），将其代入 ${\beta }_1$ 的正规方程。
3. 通过 离均差展开 化简，将代数形式转化为更直观的协方差/方差形式（分子是 $x$ 和 $y$ 的协方差和，分母是 $x$ 的方差和）。

这种推导体现了最小二乘法的核心：通过均值和离均差简化计算，最终得到斜率的直观表达式。

二、数学案例（简单线性回归）

问题：

已知5组数据（( x ) 为广告投入，( y ) 为销售额，单位：万元）：
( x: [1, 2, 3, 4, 5] )，( y: [2, 4, 5, 7, 8] )，求回归方程 $\hat{y}={\hat{\beta }}_0+{\hat{\beta }}_{1}x$

计算步骤：

公式：
$${\mathbf{\beta }}_1=\frac{\sum ({\mathbf{x}}_{\mathbf{i}}-\bar{\mathbf{x}})({\mathbf{y}}_{\mathbf{i}}-\bar{\mathbf{y}})}{\sum ({\mathbf{x}}_{\mathbf{i}}-\bar{\mathbf{x}}{)}^2}$$
$${\beta }_0=\bar{y}-{\beta }_1\bar{x}$$

1. 计算均值：
   $$\bar{x}=\frac{1+2+3+4+5}{5}=3$$$$\bar{y}=\frac{2+4+5+7+8}{5}=5.2$$

2. 计算分子 $\sum (x_i-\bar{x})(y_i-\bar{y})$
   $(1-3)(2-5.2)=(-2)(-3.2)=6.4$
   $(2-3)(4-5.2)=(-1)(-1.2)=1.2$
   $(3-3)(5-5.2)=0\times (-0.2)=0$
   $(4-3)(7-5.2)=1\times 1.8=1.8$
   $(5-3)(8-5.2)=2\times 2.8=5.6$
   总和：$6.4+1.2+0+1.8+5.6=15$

3. 计算分母 $\sum (x_i-\bar{x}{)}^2$
   $(1-3{)}^2=4$
   $(2-3{)}^2=1$
   $(3-3{)}^2=0$
   $(4-3{)}^2=1$
   $(5-3{)}^2=4$
   总和：$4+1+0+1+4=10$

4. 估计参数：
   斜率：${\hat{\beta }}_1=\frac{15}{10}=1.5$
   截距：${\hat{\beta }}_0=\bar{y}-{\hat{\beta }}_1\bar{x}=5.2-1.5\times 3=0.7$

结果：

回归方程为 $\hat{y}=0.7+1.5x$，即广告投入每增加1万元，销售额平均增加1.5万元。

三、总结

线性回归通过最小二乘法估计参数，核心是最小化误差平方和。简单线性回归的参数可通过均值和协方差直接计算。