全连接网络 和卷积神经网络
全连接网络(Fully Connected Network,FCN)和卷积神经网络(Convolutional Neural Network,CNN)是深度学习中两种经典的神经网络架构,它们在结构、应用场景和特性上有显著区别。以下是详细对比:
1. 全连接网络(FCN)
结构特点
层间连接:每一层的每个神经元与下一层的所有神经元相连,形成“全连接”结构。
参数数量:参数多(例如输入是
1000x1
的向量,第一层有500
个神经元,则需1000×500=50万
个权重)。输入形式:输入必须展平(Flatten)为一维向量(丢失空间信息)。
数学表达
第 ll 层的输出:
zl=Wlal−1+bl,al=σ(zl)zl=Wlal−1+bl,al=σ(zl)
其中 WlWl 是权重矩阵,σσ 是激活函数(如ReLU)。
优缺点
优点:简单通用,适合小规模结构化数据(如表格数据)。
缺点:
参数量大,易过拟合。
无法直接处理图像、语音等具有局部相关性的数据。
典型应用
分类任务(如MNIST手写数字分类)。
回归问题(如房价预测)。
2. 卷积神经网络(CNN)
结构特点
局部连接:通过卷积核(Filter)在输入数据的局部区域滑动计算(保留空间/时序结构)。
参数共享:同一卷积核在不同位置共享参数,大幅减少参数量。
层次化特征提取:
低层卷积:检测边缘、纹理等局部特征。
高层卷积:组合局部特征形成全局语义(如物体部件)。
核心操作
卷积层(Convolution):
(I∗K)(i,j)=∑m∑nI(i+m,j+n)K(m,n)(I∗K)(i,j)=m∑n∑I(i+m,j+n)K(m,n)II 为输入,KK 为卷积核,输出特征图(Feature Map)。
池化层(Pooling):降维(如最大池化保留显著特征)。
全连接层(可选):末端可能接FC层进行分类。
优缺点
优点:
参数效率高,适合高维数据(如图像、视频)。
自动学习平移不变性(物体在图像中的位置不影响识别)。
缺点:
对输入尺寸敏感(需固定尺寸或动态调整)。
全卷积网络(FCN)可能丢失全局信息。
典型应用
图像分类(ResNet、VGG)。
目标检测(YOLO、Faster R-CNN)。
语义分割(U-Net)。
3. 关键区别对比
特性 | 全连接网络(FCN) | 卷积神经网络(CNN) |
---|---|---|
连接方式 | 全局连接 | 局部连接 + 参数共享 |
参数数量 | 多(易过拟合) | 少(高效) |
输入结构 | 展平为一维向量 | 保留空间/时序结构(如H×W×C) |
特征提取能力 | 无显式特征层次 | 层次化特征(边缘→纹理→语义) |
平移不变性 | 无 | 自动学习 |
适用数据 | 结构化数据(表格、文本向量化) | 非结构化数据(图像、语音、视频) |
4. 结构示意图
FCN结构
输入层 → [Flatten] → 全连接层 → 全连接层 → 输出层
CNN结构
输入层 → 卷积层 → 池化层 → ... → 全连接层(可选) → 输出层
5. 为什么CNN更适合图像?
局部相关性:图像中相邻像素关联性强,卷积核捕捉局部模式。
平移不变性:同一物体在不同位置能被同一卷积核识别。
参数共享:减少计算量,避免全连接网络的参数爆炸。
6. 结合使用
现代网络常混合使用两者:
CNN前端:提取空间特征(如ResNet)。
FCN后端:将特征映射到输出(如分类层)。
总结
FCN:简单但低效,适合小规模结构化数据。
CNN:高效处理高维非结构化数据,是计算机视觉的基石。
根据任务特性选择网络类型,或结合两者优势设计混合架构(如CNN+FCN