关于逻辑回归的见解
逻辑回归通过将线性回归的输出映射到 [ 0 , 1 ] \left[0,1\right] [0,1]区间，来表示某个类别的概率。也就是其本质是先通过线性回归的预测值 y \boldsymbol{y} y输入到映射函数，既将线性回归的输出通过映射函数映射到 [ 0 , 1 ] \left[0,1\right] [0,1].常用的映射函数是sigmoid函数,其图像：
关于sigmoid函数其形式如下：
f ( x ) = 1 1 + e − x f(x) = \frac{1}{1 + e^{-x}} f(x)=1+e−x1
sigmoid函数的导数特性：
f ′ ( x ) = − 1 ( 1 + e x ) 2 ⋅ − e x = e x ( 1 + e x ) 2 = 1 1 + e x ⋅ e x 1 + e x = 1 1 + e x ⋅ 1 + e x − 1 1 + e x = 1 1 + e x ⋅ ( 1 − 1 1 + e x ) = f ( x ) ( 1 − f ( x ) ) \begin{align*} f'(x) &= -\frac{1}{\left(1 + e^{x}\right)^2} \cdot -e^x\\ &= \frac{e^x}{\left(1 + e^{x}\right)^2} \\ &= \frac{1}{1 + e^{x}} \cdot \frac{e^{x}}{1 + e^{x}} \\ &= \frac{1}{1 + e^{x}} \cdot \frac{1 + e^{x} - 1}{1 + e^{x}} \\ &= \frac{1}{1 + e^{x}} \cdot \left(1 - \frac{1}{1 + e^{x}}\right) \\ &= f(\mathbf{x})\left(1-f(\mathbf{x})\right) \end{align*} f′(x)=−(1+ex)21⋅−ex=(1+ex)2ex=1+ex1⋅1+exex=1+ex1⋅1+ex1+ex−1=1+ex1⋅(1−1+ex1)=f(x)(1−f(x))
逻辑回归结果可表示为：
P ( y = 1 ∣ x ) = 1 1 + e − ( β 0 + β 1 x 1 + β 2 x 2 + ⋯ + β n x n ) = 1 1 + e − ( β T x ) P(y=1 \mid \mathbf{x}) = \dfrac{1}{1 + e^{-\left(\beta_0 + \beta_1 x_1 + \beta_2 x_2 + \cdots + \beta_n x_n \right)}} = \dfrac{1}{1 + e^{-\left(\beta^T x\right)}} P(y=1∣x)=1+e−(β0+β1x1+β2x2+⋯+βnxn)1=1+e−(βTx)1
其中 − ( β 0 + β 1 x 1 + β 2 x 2 + ⋯ + β n x n ) -\left(\beta_0 + \beta_1 x_1 + \beta_2 x_2 + \cdots + \beta_n x_n \right) −(β0+β1x1+β2x2+⋯+βnx