当前位置：首页 > news >正文

神经网络中的那些关键设计：从输入输出到参数更新

news 2025/8/20 7:51:37

在神经网络的世界里，每个层的设计都有其背后的逻辑，而损失函数与参数更新的配合更是模型学习的核心。今天我们就来聊聊几个基础却至关重要的问题：输入层和输出层的神经元数量如何确定？交叉熵损失又是如何推动模型优化的？

输入层：与特征维度 “一一对应”

输入层作为神经网络的 “信息入口”，其神经元数量的设计遵循一个简单直接的原则 —— 与输入样本的特征维度保持一致。

比如经典的 MNIST 手写数字数据集，每张图片是 28×28 像素的灰度图。当我们将图片展开成向量后，就得到了一个 784 维的特征向量。此时，输入层就会设置 784 个神经元，每个神经元对应一个像素值，负责接收这一维度的原始特征信息。

这种设计的逻辑很简单：确保网络能完整捕获输入样本的全部信息。如果输入层神经元数量少于特征维度，就会丢失部分信息；多于特征维度则会引入冗余，增加计算成本。当然，在某些场景下，我们可能会先通过 PCA 等方法对原始特征降维，这时输入层神经元数量就会等于降维后的维度，但本质上仍是与 “输入到网络的特征维度” 保持一致。

输出层：匹配分类任务的类别数

与输入层类似，输出层的神经元数量设计也有明确的依据，尤其是在分类任务中，通常与类别的数量一致。

以手写数字分类为例，我们需要区分 0-9 共 10 个数字，因此输出层会设置 10 个神经元。每个神经元的输出经过 softmax 激活函数处理后，会转化为该样本属于对应类别的概率（10 个概率之和为 1）。比如第 3 个神经元输出概率最高时，模型就会预测这个数字是 “2”（索引从 0 开始）。

不过在二分类任务中，我们有时会简化设计：只用 1 个神经元，通过 sigmoid 激活函数输出 “属于正类” 的概率（范围在 0-1 之间），而 “属于负类” 的概率则为 1 减去该值。这种设计虽简洁，但本质上仍对应着 2 个类别。

交叉熵：衡量差异的 “标尺”

有了输入层和输出层的设计，网络还需要一个 “裁判” 来判断预测结果的好坏，交叉熵损失函数就扮演了这个角色。它的核心作用是衡量模型预测的概率分布与真实标签分布之间的差异。

在多分类场景中，假设真实标签是一个 one-hot 向量（比如真实类别是第 2 类时，标签为 [0,1,0]），模型输出的预测概率分布为 $y^\hat{y}$ ，交叉熵损失 $L$ 的计算公式为：

$L=−∑i=1kyi⋅log⁡(y^i)L = -\sum_{i=1}^k y_i \cdot \log(\hat{y}_i)$

由于真实标签是 one-hot 形式，这个公式其实简化为只计算真实类别对应的预测概率的负对数。损失越大，说明预测与真实值的差异越大。

从损失到参数：反向传播的 “魔法”

交叉熵损失的真正价值，在于它能通过反向传播算法为模型参数（权重、偏置）的更新提供 “梯度信号”。我们用一个简单的网络结构来看看这个过程：

假设输入层有 2 个神经元，隐藏层有 1 个神经元，输出层有 3 个神经元（对应 3 分类任务）。其中，隐藏层输出为 $a_1$ ，输出层第 $i$ 个神经元的未激活值为 $z2i=w2i⋅a1+b2iz_{2i}=w_{2i}\cdot a_1 + b_{2i}$ （ $w_{2i}$ 为输出层第 $i$ 个神经元的权重， $b_{2i}$ 为偏置），输出层的预测概率 $y^i=softmax(z2)i=ez2i∑j=13ez2j\hat{y}_i=\text{softmax}(z_2)_i=\frac{e^{z_{2i}}}{\sum_{j=1}^3 e^{z_{2j}}}$ （记分母为 $S=∑j=13ez2jS=\sum_{j=1}^3 e^{z_{2j}}$ ）。

下面我们详细推导交叉熵损失对输出层权重 $w_{2i}$ 的偏导数：

步骤 1：明确链式法则的推导路径

根据复合函数求导的链式法则，损失 $L$ 对 $w_{2i}$ 的偏导数可分解为：

$∂L∂w2i=∂L∂y^i⋅∂y^i∂z2i⋅∂z2i∂w2i\frac{\partial L}{\partial w_{2i}}=\frac{\partial L}{\partial \hat{y}_i}\cdot \frac{\partial \hat{y}_i}{\partial z_{2i}}\cdot \frac{\partial z_{2i}}{\partial w_{2i}}$

步骤 2：计算 $∂L∂y^i\frac{\partial L}{\partial \hat{y}_i}$

由交叉熵损失公式 $L=−∑i=13yi⋅log⁡(y^i)L = -\sum_{i=1}^3 y_i \cdot \log(\hat{y}_i)$ ，对 $y^i\hat{y}_i$ 求偏导：

$∂L∂y^i=−yiy^i\frac{\partial L}{\partial \hat{y}_i}=-\frac{y_i}{\hat{y}_i}$

这是因为当对 $y^i\hat{y}_i$ 求导时，只有 $yi⋅log⁡(y^i)y_i\cdot\log(\hat{y}_i)$ 这一项涉及 $y^i\hat{y}_i$ ，根据 $(log⁡x)′=1x(\log x)'=\frac{1}{x}$ ，可得上述结果。

步骤 3：计算 $∂y^i∂z2i\frac{\partial \hat{y}_i}{\partial z_{2i}}$

根据 softmax 函数 $y^i=ez2iS\hat{y}_i=\frac{e^{z_{2i}}}{S}$ ，分两种情况讨论：

当 $i = j$ 时（求对自身未激活值的偏导）：

$∂y^i∂z2i=ez2i⋅S−ez2i⋅ez2iS2=ez2iS⋅(1−ez2iS)=y^i(1−y^i)\frac{\partial \hat{y}_i}{\partial z_{2i}}=\frac{e^{z_{2i}}\cdot S - e^{z_{2i}}\cdot e^{z_{2i}}}{S^2}=\frac{e^{z_{2i}}}{S}\cdot(1-\frac{e^{z_{2i}}}{S})=\hat{y}_i(1 - \hat{y}_i)$
当 $i≠ji\neq j$ 时（求对其他未激活值的偏导）：

$∂y^i∂z2j=0⋅S−ez2i⋅ez2jS2=−y^iy^j\frac{\partial \hat{y}_i}{\partial z_{2j}}=\frac{0\cdot S - e^{z_{2i}}\cdot e^{z_{2j}}}{S^2}=-\hat{y}_i\hat{y}_j$

在我们的推导中，关注的是 $∂y^i∂z2i\frac{\partial \hat{y}_i}{\partial z_{2i}}$ ，即 $i = j$ 的情况，所以 $∂y^i∂z2i=y^i(1−y^i)\frac{\partial \hat{y}_i}{\partial z_{2i}}=\hat{y}_i(1 - \hat{y}_i)$ 。

步骤 4：计算 $∂z2i∂w2i\frac{\partial z_{2i}}{\partial w_{2i}}$

由 $z2i=w2i⋅a1+b2iz_{2i}=w_{2i}\cdot a_1 + b_{2i}$ ，对 $w_{2i}$ 求偏导：

$∂z2i∂w2i=a1\frac{\partial z_{2i}}{\partial w_{2i}}=a_1$

这是因为 $w_{2i}$ 只与 $z_{2i}$ 中的 $w2i⋅a1w_{2i}\cdot a_1$ 项相关，其他项为常数，导数为 0。

步骤 5：合并结果

将上述三步的结果相乘：

$∂L∂w2i=(−yiy^i)⋅y^i(1−y^i)⋅a1=(−yi)⋅(1−y^i)⋅a1=(y^i−yi)⋅a1\frac{\partial L}{\partial w_{2i}}=(-\frac{y_i}{\hat{y}_i})\cdot\hat{y}_i(1 - \hat{y}_i)\cdot a_1=(-y_i)\cdot(1 - \hat{y}_i)\cdot a_1=(\hat{y}_i - y_i)\cdot a_1$