深度学习-卷积神经网络-GoogLeNet
在深度学习的发展历程中，卷积神经网络（CNN）不断推陈出新，GoogLeNet 作为其中的杰出代表，以其独特的 Inception 架构在图像识别领域取得了显著的成果。
GoogLeNet 的一个观点是：有时使用不同大小的卷积核组合是有利的。
GoogLeNet吸收了前文中NiN的串联网络的思想，并在此基础上做了改进。
这篇论文的一个重点是解决了什么样大小的卷积核最合适的问题。
毕竟，以前流行的网络使用小到1×1，大到11×11 的卷积核。
在GoogLeNet中，基本的卷积块被称为 Inception块（Inception block）。
这很可能得名于电影《盗梦空间》（Inception），因为电影中的一句话“我们需要走得更深”（“We need to go deeper”）。
1. Inception 模块
GoogLeNet 的核心创新在于其提出的 Inception 模块。Inception 模块通过在同一个层级中并行地使用多个不同尺寸的卷积核（如 1×1、3×3、5×5）以及池化操作，能够同时捕获不同尺度的特征。这种多尺度特征提取方式大大增强了模型对图像信息的理解能力。
具体而言，每个 Inception 模块包含以下几种路径：
1×1 卷积路径：用于减少特征图的通道数，降低计算复杂度，同时提取重要的特征信息。
3×3 卷积路径：捕获中等尺度的特征。
5×5 卷积路径：捕获较大尺度的特征。
池化路径：通过池化操作降低特征图的空间尺寸，同时保留重要的特征信息。
这些路径的输出最终会被拼接在一起，形成该 Inception 模块的输出特征图。这种设计使得模型能够在不同的尺度上进行特征提取，从而更全面地理解图像内容。
Inception块由四条并行路径组成：【蓝色抽取信息，白色改变通道数】
前三条路径使用窗口大小为1×1、3×3和5×5的卷积层，从不同空间大小中提取信息。
中间的两条路径在输入上执行1×1卷积，以减少通道数，从而降低模型的复杂性。
第四条路径使用3×3最大汇聚层，然后使用1×1卷积层来改变通道数。
这四条路径都使用合适的填充来使输入与输出的高和宽一致，最后我们将每条线路的输出在通道维度上连结，并构成Inception块的输出。在Inception块中，通常调整的超参数是每层输出通道数。
2. 网络整体结构
GoogLeNet 的整体网络结构由多个 Inception 模块堆叠而成，并在适当的位置插入了最大池化层以逐步降低特征图的空间尺寸。此外，GoogLeNet 还引入了辅助分类器（Auxiliary Classifiers）的概念，这些辅助分类器连接在中间的某些 Inception 模块之后，用于在训练过程中提供额外的监督信号，从而帮助缓解梯度消失问题，促进网络的收敛。
3. 代码实现
代码改编自《动手学深度学习》
首先实现Incepetion：
import torch
from torch import nn
from torch.nn import functional as F
from d2l import torch as d2lclass Inception(nn.Module):# c1--c4是每条路径的输出通道数def __init__(self, in_channels, c1, c2, c3, c4, **kwargs):super(Inception, self).__init__(**kwargs)# 线路1，单1x1卷积层self.p1_1 = nn.Conv2d(in_channels, c1, kernel_size=1)# 线路2，1x1卷积层后接3x3卷积层self.p2_1 = nn.Conv2d(in_channels, c2[0], kernel_size=1)self.p2_2 = nn.Conv2d(c2[0], c2[1], kernel_size=3, padding=1)# 线路3，1x1卷积层后接5x5卷积层self.p3_1 = nn.Conv2d(in_channels, c3[0], kernel_size=1)self.p3_2 = nn.Conv2d(c3[0], c3[1], kernel_size=5, padding=2)# 线路4，3x3最大汇聚层后接1x1卷积层self.p4_1 = nn.MaxPool2d(kernel_size=3, stride=1, padding=1)self.p4_2 = nn.Conv2d(in_channels, c4, kernel_size=1)def forward(self, x):p1 = F.relu(self.p1_1(x))p2 = F.relu(self.p2_2(F.relu(self.p2_1(x))))p3 = F.relu(self.p3_2(F.relu(self.p3_1(x))))p4 = F.relu(self.p4_2(self.p4_1(x)))# 在通道维度上连结输出return torch.cat((p1, p2, p3, p4), dim=1)Stage模块 实现：
b1 = nn.Sequential(nn.Conv2d(1, 64, kernel_size=7, stride=2, padding=3),nn.ReLU(),nn.MaxPool2d(kernel_size=3, stride=2, padding=1))
b2 = nn.Sequential(nn.Conv2d(64, 64, kernel_size=1),nn.ReLU(),nn.Conv2d(64, 192, kernel_size=3, padding=1),nn.ReLU(),nn.MaxPool2d(kernel_size=3, stride=2, padding=1))b3 = nn.Sequential(Inception(192, 64, (96, 128), (16, 32), 32),Inception(256, 128, (128, 192), (32, 96), 64),nn.MaxPool2d(kernel_size=3, stride=2, padding=1))b4 = nn.Sequential(Inception(480, 192, (96, 208), (16, 48), 64),Inception(512, 160, (112, 224), (24, 64), 64),Inception(512, 128, (128, 256), (24, 64), 64),Inception(512, 112, (144, 288), (32, 64), 64),Inception(528, 256, (160, 320), (32, 128), 128),nn.MaxPool2d(kernel_size=3, stride=2, padding=1))b5 = nn.Sequential(Inception(832, 256, (160, 320), (32, 128), 128),Inception(832, 384, (192, 384), (48, 128), 128),nn.AdaptiveAvgPool2d((1,1)),nn.Flatten())net = nn.Sequential(b1, b2, b3, b4, b5, nn.Linear(1024, 10))模型构造：
X = torch.rand(size=(1, 1, 96, 96))
for layer in net:X = layer(X)print(layer.__class__.__name__,'output shape:\t', X.shape)输出：
Sequential output shape: torch.Size([1, 64, 24, 24])
Sequential output shape: torch.Size([1, 192, 12, 12])
Sequential output shape: torch.Size([1, 480, 6, 6])
Sequential output shape: torch.Size([1, 832, 3, 3])
Sequential output shape: torch.Size([1, 1024])
Linear output shape: torch.Size([1, 10])训练模型：
lr, num_epochs, batch_size = 0.1, 10, 128
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size, resize=96)
d2l.train_ch6(net, train_iter, test_iter, num_epochs, lr, d2l.try_gpu())输出：
loss 0.262, train acc 0.900, test acc 0.886
3265.5 examples/sec on cuda:04. GoogLeNet的优势
与其他卷积神经网络相比，GoogLeNet 的优势主要体现在以下几个方面：
更高效的特征提取：Inception 模块能够同时捕获不同尺度的特征，使模型对图像信息的理解更加全面。
较少的参数：通过 1×1 卷积核的通道数压缩和全局平均池化层的使用，GoogLeNet 的参数数量显著减少。
辅助分类器的创新设计：辅助分类器在训练过程中提供额外的监督信号，帮助模型更快地收敛。
GoogLeNet 的创新设计不仅在图像分类任务中表现出色，还被广泛应用于目标检测、图像分割等领域。其多尺度特征提取的思想为后续的深度学习模型（如 Inception-v2、Inception-v3 等）提供了重要的启发，推动了卷积神经网络的不断发展。
在实际应用中，GoogLeNet 的多尺度特征提取能力使其在图像分类、目标检测和图像分割等任务中表现出色。尽管 GoogLeNet 在某些方面仍有改进空间，但它的设计理念和方法为深度学习领域的发展提供了重要的参考。未来，随着深度学习技术的不断进步，GoogLeNet 的创新思想将继续影响和推动这一领域的发展。