正则化都是放在模型的哪个位置呢？

✅ 什么是“正则化”？

在神经网络中，正则化（Regularization）= 抑制过拟合的技巧
目的是让模型在训练集和测试集上都表现得好（泛化能力强）。

🧠 常见的正则化手段包括：

✅ 那“放在哪里”呢？逐个来看：

🔸 1. L1 / L2 正则（Weight Decay）

• 放在：优化器设置中

• 代码示例：

optimizer = torch.optim.Adam(model.parameters(), lr=1e-3, weight_decay=1e-4)

• 作用在模型所有可训练权重上

• 不影响网络结构，只影响训练时的权重更新

🔸 2. Dropout

• 通常放在：Linear 或 ReLU 后面

• 不能放在卷积层后直接用（容易丢信息）

nn.Linear(128, 64), nn.ReLU(), nn.Dropout(p=0.5),

• 注意：训练时才启用 Dropout，验证/测试时自动关闭

🔸 3. BatchNorm

• 放在 Conv/Linear 输出后，ReLU 前

• 在训练和测试阶段行为不同（训练时统计均值方差）

🔸 4. Data Augmentation

• 放在数据加载前，例如：

transform = transforms.Compose([ transforms.RandomHorizontalFlip(), transforms.RandomCrop(32, padding=4), transforms.ToTensor(), ])

• 与模型结构无关，但非常有效

🔸 5. Early Stopping

• 放在训练 loop 外部控制，基于验证集监控性能

✅ 一个典型的结构示例

nn.Conv2d(3, 16, 3, padding=1), nn.BatchNorm2d(16), nn.ReLU(), nn.MaxPool2d(2), nn.Conv2d(16, 32, 3, padding=1), nn.BatchNorm2d(32), nn.ReLU(), nn.MaxPool2d(2), nn.Flatten(), nn.Linear(512, 128), nn.BatchNorm1d(128), nn.ReLU(), nn.Dropout(p=0.5), nn.Linear(128, 10) # 输出层，不加正则

✅ 总结一句话：

正则化是“无处不在”的，但每种方法都在“它该在的地方”。