当前位置： 首页 > news >正文

八种常见的神经网络介绍

news 2025/6/19 10:30:02

  在深度学习的世界里，各种神经网络模型层出不穷，每一种都有其独特的魅力和优势。今天，以下是八种常见的神经网络模型及其特点介绍，让我们来看看它们是如何在人工智能领域大放异彩的。

概述（八大神经网络）

卷积神经网络（CNN）：

适用于图像、音频等网格数据处理。
通过卷积层提取局部特征，池化层降维，广泛用于图像分类、目标检测。
特点是参数共享和权值的局部连接，减少了模型复杂度。

循环神经网络（RNN）：

擅长处理序列数据，能捕捉上下文信息。
RNN结构允许信息持久化，适合自然语言处理任务如文本生成、时间序列预测等。

长短时记忆网络（LSTM）：

是RNN的一种改进版本，通过门控机制解决长期依赖问题。
能够有效地捕捉长时间间隔的信息，避免了传统RNN中的梯度消失或爆炸问题。

生成对抗网络（GAN）：

由生成器和判别器两部分组成，通常用于生成高质量的数据样本，如图像生成。
两个网络相互对抗训练，直到生成器能够欺骗判别器认为其生成的数据是真实的。

自编码器（Autoencoder）：

一种无监督学习方法，主要用于数据压缩、特征学习和降噪。
包括编码器和解码器两部分，编码器将输入数据映射到低维空间，解码器再将其恢复为原始维度。

深度信念网络（DBN）：

是一种由多个限制玻尔兹曼机（RBM）堆叠而成的深层网络。
可以进行逐层贪婪的预训练，之后使用反向传播算法进行微调。

Transformer：

基于注意力机制，特别适合处理序列数据，比如机器翻译和文本摘要。
克服了RNN和LSTM在长序列处理上的局限性，并且可以并行计算，提高了训练效率。

图神经网络（GNN）：

专门设计来处理图结构数据，例如社交网络分析、分子结构预测等。
GNN能够在节点之间传递信息，使得每个节点都能够聚合其邻居节点的信息，从而更新自身的表示。

1. 卷积神经网络（Convolutional Neural Network, CNN）

  卷积神经网络（Convolutional Neural Network, CNN）是一种专门设计用于处理具有网格结构的数据的深度学习模型，如图像数据。CNN在图像识别、视频分析、自然语言处理等领域取得了显著的成功。以下是关于CNN的具体解释：

核心概念

1. 卷积层（Convolutional Layer）
  • 卷积操作：通过卷积核（也称为滤波器或特征检测器）与输入数据进行卷积操作来提取特征。每个卷积核专注于检测特定类型的特征，比如边缘、颜色斑点等。
  • 共享权重：卷积核在整个输入空间上滑动时使用相同的参数集，这大大减少了需要学习的参数数量，并赋予了平移不变性。
2. 激活函数
  • 在卷积层之后通常会应用非线性的激活函数（如ReLU），以增加模型的表达能力并允许它学习更复杂的模式。
3. 池化层（Pooling Layer）
  • 下采样：减少特征图的空间维度，同时保留最重要的信息。最常用的池化方法是最大池化（Max Pooling），即取局部区域的最大值作为该区域的代表。
  • 这有助于控制过拟合，减少计算复杂度，并提高模型对小范围变形的鲁棒性。
4. 全连接层（Fully Connected Layer）
  • 在网络的最后一层或多层，所有神经元都与其他层的所有神经元相连，用于执行最终分类任务。
  • 输入通常是经过多次卷积和池化后的特征图展平后的向量形式。

工作流程

  1. 输入层：接收原始图像数据，通常为RGB三通道彩色图像或灰度图像。
  2. 卷积层：提取图像中的局部特征，形成多个特征映射。
  3. 激活函数：引入非线性因素，使得网络能够逼近任意复杂度的函数。
  4. 池化层：降低特征映射的空间尺寸，减少后续层的参数数量。
  5. 重复步骤2至4：根据任务需求堆叠多组卷积层和池化层，构建更深的网络架构。
  6. 全连接层：将特征映射转换为类别得分或其他预测结果。
  7. 输出层：根据具体问题类型（分类、回归等），产生最终的输出。

特点

  • 权值共享：卷积核在图像上滑动时使用相同的参数，降低了模型复杂度。
  • 局部连接：每个神经元只与输入数据的一个局部区域相连，而不是整个输入。
  • 平移不变性：由于卷积核可以在图像的不同位置找到相同的特征，因此CNN对于物体的位置变化具有一定的不变性。
  • 层次化特征提取：较低层的卷积层可以捕捉基本形状和纹理，而较高层则能识别更抽象的概念，如物体部分甚至整个物体。

应用实例

  • 图像分类：如ImageNet大规模视觉识别挑战赛中使用的AlexNet、VGG、ResNet等模型。
  • 目标检测：例如Faster R-CNN、YOLO（You Only Look Once）等算法。
  • 风格迁移、超分辨率重建、医学影像分析等。

2.循环神经网络（Recurrent Neural Network, RNN）

  循环神经网络（Recurrent Neural Network, RNN）是一种专为处理序列数据设计的神经网络类型，它能够记住之前的信息，并在当前时刻的计算中利用这些信息。这使得RNN非常适合于处理时间序列预测、自然语言处理等任务，其中输入数据之间存在顺序关系。

核心概念

1. 循环结构

与传统的前馈神经网络不同，RNN具有内部状态（或记忆），允许信息在网络内部传递。这种特性通过在网络架构中引入循环连接实现，即一个节点不仅接收来自前一层的输入，还会接收自身上一时刻的状态作为额外输入。这种设计使得RNN可以处理任意长度的序列数据。

2. 时间步展开

为了更清晰地理解RNN的工作原理，我们可以将RNN按照时间步骤展开。例如，给定一个输入序列 (x_1, x_2, …, x_T)，对于每个时间步 (t)，RNN都会执行以下操作：

  • 计算隐藏层状态 (h_t = f(W_h h_{t-1} + W_x x_t + b))，这里 (f) 是激活函数（如tanh或ReLU），(W_h) 和 (W_x) 分别是隐藏层到隐藏层和输入到隐藏层的权重矩阵，(b) 是偏置项。
  • 根据需要计算输出 (y_t = g(V h_t + c))，其中 (g) 可能是softmax函数用于分类任务，(V) 是隐藏层到输出层的权重矩阵，(c) 是偏置项。
3. 长期依赖问题

尽管RNN理论上可以捕捉长期依赖关系，但在实践中，随着序列长度增加，训练过程中会出现梯度消失或爆炸的问题，导致模型难以学习长期依赖。这是因为反向传播时，梯度会沿着时间维度连乘，可能导致数值变得非常小或非常大。

改进版本

为了解决上述问题，研究人员提出了几种改进版的RNN：

  • 长短期记忆网络（LSTM）：通过引入门控机制（输入门、遗忘门、输出门），LSTM可以选择性地记忆或忘记信息，有效缓解了梯度消失问题，增强了对长时间间隔依赖的学习能力。

  • 门控循环单元（GRU）：GRU简化了LSTM的结构，合并了一些门控单元，同时保留了其核心功能。相比LSTM，GRU通常拥有较少的参数，训练速度更快。

应用场景

  • 自然语言处理：包括文本生成、机器翻译、情感分析等。
  • 语音识别：处理连续的音频信号进行转录。
  • 时间序列预测：如股票价格预测、天气预报等。

实例说明

  假设我们正在构建一个基于RNN的语言模型来预测句子中的下一个单词。给定前面几个词组成的序列，RNN会根据已知的词汇及其顺序来推测接下来最可能出现的词语。在这个过程中，RNN不仅考虑到了直接的上下文环境，还可能考虑到更早之前的内容，从而做出更加准确的预测。

总结

  RNN及其变体（LSTM、GRU）提供了一种强大的框架来处理序列数据，使机器能够理解和生成具有复杂结构的数据。然而，在实际应用中，选择合适的模型结构、调整超参数以及优化训练过程都是至关重要的步骤。此外，随着Transformer架构的兴起，尽管RNN仍然在某些领域内被广泛应用，但Transformer正逐渐成为许多新开发项目的首选方案。

3. 长短时记忆网络（Long Short-Term Memory Network, LSTM）

  长短时记忆网络（Long Short-Term Memory Network, LSTM）是一种特殊的循环神经网络（RNN），专门设计用来解决传统RNN在处理长时间依赖问题时遇到的梯度消失或梯度爆炸的问题。LSTM通过引入一种称为“门控机制”的特殊结构，能够有效地捕捉时间序列数据中的长距离依赖关系。

核心概念

1. 基本单元：记忆单元（Memory Cell）

LSTM的核心是一个被称为记忆单元的状态，它允许信息以一种更可控的方式流动。这个记忆单元可以看作是一条贯穿整个链的信息传输路径，它只有一些线性交互作用，使得信息可以在不发生改变的情况下传递下去。

2. 门控机制

为了控制信息如何流入、流出以及保留在记忆单元中，LSTM使用了三种类型的“门”：

  • 遗忘门（Forget Gate）：

    • 决定从记忆单元中丢弃哪些信息。
    • 计算方式为：(f_t = \sigma(W_f \cdot [h_{t-1}, x_t] + b_f))
    • 其中，(W_f) 和 (b_f) 分别是权重矩阵和偏置项，(\sigma) 表示sigmoid函数，用于输出0到1之间的值，决定保留或忘记的比例。([h_{t-1}, x_t]) 表示前一时刻的隐藏状态和当前输入拼接的结果。

  • 输入门（Input Gate）：

    • 更新记忆单元的状态，决定哪些新信息将被加入。
    • 包括两个步骤：
      • 首先，使用sigmoid层决定哪些值将会更新：(i_t = \sigma(W_i \cdot [h_{t-1}, x_t] + b_i))
      • 然后，创建一个候选向量(\tilde{C}_t)，表示可能添加到状态的新候选值：(\tilde{C}t = \text{tanh}(W_C \cdot [h{t-1}, x_t] + b_C))

  • 输出门（Output Gate）：

    • 基于当前的记忆单元状态，决定最终输出什么。
    • 计算方法为：(o_t = \sigma(W_o \cdot [h_{t-1}, x_t] + b_o))
    • 最终的隐藏状态(h_t)由当前的记忆单元状态(C_t)经过tanh函数变换后与输出门相乘得到：(h_t = o_t * \text{tanh}(C_t))
3. 记忆单元状态更新

记忆单元的状态(C_t)根据遗忘门和输入门的结果进行更新：
[ C_t = f_t * C_{t-1} + i_t * \tilde{C}_t ]

这里，(f_t) 控制着旧的记忆被遗忘的程度，而 (i_t) 决定了新的候选值 (\tilde{C}_t) 对记忆单元的影响程度。

工作流程

  1. 初始化：给定初始隐藏状态(h_0)和初始记忆单元状态(C_0)（通常都设为零向量）。
  2. 逐时间步处理：对于每个时间步 (t)，执行以下操作：
    • 计算遗忘门、输入门、候选记忆单元及输出门的值。
    • 根据上述公式更新记忆单元状态(C_t)和隐藏状态(h_t)。
  3. 输出结果：根据任务需求，可能直接使用最后的隐藏状态作为输出，或者对所有时间步的隐藏状态进行进一步处理。

应用场景

LSTM广泛应用于需要理解上下文或长期依赖的任务中，如：

  • 自然语言处理：包括文本生成、机器翻译、情感分析等。
  • 语音识别：处理连续的音频信号进行转录。
  • 时间序列预测：如股票价格预测、天气预报等。
  • 生物信息学：例如蛋白质结构预测。

总结

  LSTM通过其独特的门控机制解决了传统RNN难以处理的长期依赖问题，使其成为处理序列数据的强大工具。尽管近年来Transformer架构逐渐流行，并在某些任务上表现出色，但在许多需要精细控制记忆流的应用场景中，LSTM仍然是不可或缺的选择。

4.生成对抗网络（Generative Adversarial Network, GAN）

  生成对抗网络（Generative Adversarial Network, GAN）是一种由两个神经网络——生成器（Generator）和判别器（Discriminator）——组成的深度学习模型。GAN通过这两个组件之间的博弈过程来学习数据的分布，从而能够生成与训练数据相似的新数据样本。以下是关于GAN的详细介绍：

核心概念

1. 生成器（Generator）
  • 功能：生成器的任务是从随机噪声中生成看起来像真实数据的样本。它接收一个随机向量作为输入，并尝试将其转换为逼真的数据实例。
  • 目标：欺骗判别器，使其相信生成的数据是真实的。
2. 判别器（Discriminator）
  • 功能：判别器评估输入数据的真实性，判断它是来自真实数据集还是由生成器生成的假数据。
  • 目标：准确区分真假数据，即最大化对真实数据标记为真、对生成数据标记为假的概率。
3. 对抗训练
  • GAN的核心在于生成器和判别器之间进行的零和博弈。生成器试图产生更逼真的输出以“欺骗”判别器，而判别器则努力提高其分辨能力。
  • 这个过程可以通过最小化以下损失函数来实现：
    • 对于生成器 (G)，目标是最小化 (\log(1-D(G(z))))，其中 (z) 是输入给生成器的随机噪声，(D) 是判别器。
    • 对于判别器 (D)，目标是最大化 (\log D(x) + \log(1-D(G(z))))，其中 (x) 是来自真实数据集的数据点。

训练流程

  1. 初始化：随机初始化生成器和判别器的参数。
  2. 交替训练：
    • 首先固定生成器，使用真实数据和生成的数据训练判别器，使其尽可能好地识别真假数据。
    • 然后固定判别器，用生成的数据训练生成器，目的是让生成的数据尽可能接近真实数据，以至于判别器无法区分。
  3. 迭代优化：重复上述步骤直至达到预定的停止条件（如达到最大迭代次数或损失函数收敛）。

特点与挑战

  • 特点：

    • GAN能够生成高质量且多样化的样本，特别是在图像生成领域取得了显著成就。
    • 它们可以用于各种应用，包括但不限于图像合成、超分辨率、视频预测、文本到图像合成等。

  • 挑战：

    • 模式崩溃（Mode Collapse）：有时生成器可能会陷入只生成有限种类的数据，而不是整个数据分布的情况。
    • 训练不稳定：由于涉及两个相互竞争的网络，GAN的训练过程可能非常不稳定，需要仔细调整超参数。
    • 评估困难：没有直接的方法来量化生成样本的质量，通常依赖于视觉检查或其他间接指标。

应用示例

  • 图像生成：例如创建艺术作品、设计虚拟人物形象。
  • 风格迁移：将一种类型的图像转换为另一种风格，比如将照片变成油画风格。
  • 数据增强：在医疗影像分析等领域，GAN可用于生成额外的训练数据，帮助改善模型性能。
  • 视频预测：基于现有帧预测未来帧的内容，适用于自动驾驶技术中的场景理解等。

  总之，GAN提供了一种强大的工具来探索和生成复杂的数据分布，尽管存在一些挑战，但随着研究的深入和技术的发展，GAN的应用范围正在不断扩大。

5.自编码器（Autoencoder, 简称 AE）

  自编码器（Autoencoder, 简称 AE）是一种无监督学习的神经网络结构，主要用于特征提取、数据压缩、去噪和生成建模等任务。它的核心思想是：通过一个“瓶颈”结构，将输入数据压缩为低维表示（称为潜在表示或编码），然后再尝试从这个低维表示中重建原始输入。

一、基本结构

自编码器通常由两个主要部分组成：

1. 编码器（Encoder）

  • 将高维输入 $ x \in \mathbb{R}^n $ 映射到一个低维的潜在空间（latent space）中的表示 $ z \in \mathbb{R}^k $，其中 $ k < n $。
  • 可以是一个简单的全连接层，也可以是卷积层或多层堆叠结构。
  • 数学表达式：
    z = f enc ( x ) = σ ( W enc x + b enc ) z = f_{\text{enc}}(x) = \sigma(W_{\text{enc}} x + b_{\text{enc}}) z=fenc​(x)=σ(Wenc​x+benc​)

2. 解码器（Decoder）

  • 接收编码器输出的潜在向量 $ z $，并试图将其还原成原始输入 $ x $ 的近似值 $ \hat{x} $。
  • 同样可以是全连接层、反卷积层等。
  • 数学表达式：
    x ^ = f dec ( z ) = σ ( W dec z + b dec ) \hat{x} = f_{\text{dec}}(z) = \sigma(W_{\text{dec}} z + b_{\text{dec}}) x^=fdec​(z)=σ(Wdec​z+bdec​)

整个过程可以看作：
x ^ = f dec ( f enc ( x ) ) \hat{x} = f_{\text{dec}}(f_{\text{enc}}(x)) x^=fdec​(fenc​(x))

二、训练目标

自编码器的目标是最小化重构误差（Reconstruction Error），即让解码器尽可能准确地还原原始输入。

常用的损失函数包括：

  • 均方误差（MSE）：
    L ( x , x ^ ) = ∥ x − x ^ ∥ 2 \mathcal{L}(x, \hat{x}) = \|x - \hat{x}\|^2 L(x,x^)=∥x−x^∥2
  • 交叉熵损失（Cross-Entropy Loss）：适用于图像像素在 [0,1] 范围内的情况（如归一化的图像）

三、核心特点

特点说明
无监督学习不需要标签，只需要输入数据本身即可训练
降维能力编码器可提取数据的关键特征，形成紧凑的潜在表示
去噪能力在输入中加入噪声后训练模型，可增强鲁棒性
生成能力解码器可以从潜在空间生成新的数据样本（尤其是变分自编码器 VAE）

四、常见类型

1. 标准自编码器（Vanilla Autoencoder）

  • 最基础的结构，使用全连接层进行编码和解码。
  • 常用于理解自编码器的基本原理。

2. 去噪自编码器（Denoising Autoencoder）

  • 训练时故意对输入加噪声，迫使模型学习更鲁棒的特征表示。
  • 应用场景：图像修复、语音去噪。

3. 稀疏自编码器（Sparse Autoencoder）

  • 对隐藏层添加稀疏约束，使每个神经元只在少数情况下激活。
  • 目的是鼓励模型学习更高效、更有意义的特征。

4. 卷积自编码器（Convolutional Autoencoder, CAE）

  • 使用卷积层代替全连接层，适合处理图像数据。
  • 更擅长捕捉图像的空间结构信息。

5. 变分自编码器（Variational Autoencoder, VAE）

  • 不仅学习数据的压缩表示，还学习其概率分布（通常是高斯分布）。
  • 可以从潜在空间采样生成新数据，具备更强的生成能力。

五、图示说明

Input (x) → Encoder → Latent Code (z) → Decoder → Output (x̂)

可视化示意如下：

[Input Image]↓
[Encoder Network]↓
[Latent Space (Low-Dimensional)]↓
[Decoder Network]↓
[Reconstructed Image]

六、应用场景

场景描述
数据压缩与降维提取关键特征，用于后续分类或聚类任务
去噪与修复恢复被破坏的数据，如模糊图像、缺失文本
异常检测如果某样本的重构误差显著高于正常数据，则可能是异常
生成建模尤其是 VAE 和 GAN 结合使用的场景，能生成高质量图像
特征提取编码器可以作为预训练模型的一部分，用于迁移学习

七、代码示例（使用 PyTorch 实现一个简单自编码器）

import torch
import torch.nn as nnclass Autoencoder(nn.Module):def __init__(self, input_dim=784, hidden_dim=64):super(Autoencoder, self).__init__()# 编码器self.encoder = nn.Sequential(nn.Linear(input_dim, hidden_dim),nn.ReLU())# 解码器self.decoder = nn.Sequential(nn.Linear(hidden_dim, input_dim),nn.Sigmoid()  # 输出范围 [0,1]，适合图像)def forward(self, x):z = self.encoder(x)x_hat = self.decoder(z)return x_hat, z

八、总结

自编码器是一种通过“压缩-重建”的方式来学习数据内部结构的神经网络，它不仅可以提取特征、去除噪声，还能用于生成建模，是深度学习中非常基础且实用的工具之一。

6.深度信念网络（Deep Belief Network, DBN）

  深度信念网络（Deep Belief Network, DBN）是一种由多个限制玻尔兹曼机（Restricted Boltzmann Machine, RBM）或自编码器堆叠而成的生成式神经网络模型。DBN在无监督学习中表现出色，能够学习数据的高层次表示，并且可以用于特征提取、分类等多种任务。下面是对DBN的详细介绍。

核心组成部分

  1. 限制玻尔兹曼机（RBM）

    • RBM是DBN的基本构建块，它是一个两层的随机生成神经网络，包括一个可见层和一个隐藏层。
    • 可见层的单元代表输入数据的特征，而隐藏层则用于捕捉这些特征之间的高阶相关性。
    • RBM中的单元之间没有层内连接，只有层间连接，这使得它们相对容易训练。

  2. 多层结构

    • 在DBN中，多个RBM被“堆叠”在一起形成一个多层网络。每一层的隐藏层作为下一层的可见层，从而允许信息从低级特征逐步抽象到更高级的概念。

训练过程

DBN的训练通常分为两个阶段：

  1. 预训练（Pre-training）

    • 使用贪心逐层训练的方法，首先对第一层RBM进行无监督训练，以调整其权重，使其能够最好地重建输入数据。
    • 然后将第一层RBM的隐藏层输出作为第二层RBM的输入，并重复上述过程，直到所有层都完成训练。
    • 这种方法有助于初始化深层网络的权重，避免了直接使用反向传播算法时可能出现的问题，比如梯度消失。

  2. 微调（Fine-tuning）

    • 预训练完成后，可以通过有监督的方式进一步优化整个网络的性能。常用的方法是使用反向传播算法基于特定的任务目标（如分类）来调整网络参数。

特点与优势

  • 无监督学习能力：DBN可以在没有标签的数据上进行有效的训练，这使得它非常适合于那些难以获取大量标记数据的应用场景。
  • 特征学习：通过多层次的非线性变换，DBN能够自动发现输入数据的复杂结构和模式，这对于提高后续任务的表现非常有用。
  • 灵活性：除了使用RBM之外，也可以用其他类型的自动编码器来构建DBN，增加了模型设计的灵活性。

应用领域

DBN已被成功应用于多种领域，包括但不限于：

  • 图像识别：例如手写数字识别、物体检测等。
  • 语音识别：处理音频信号并转换为文本。
  • 自然语言处理：文本分类、情感分析等。
  • 医疗健康：疾病预测、基因数据分析等。

总结

  深度信念网络提供了一种有效的方法来学习复杂的概率分布，并能从中抽取有用的特征。尽管近年来随着卷积神经网络（CNN）和其他先进模型的发展，DBN在某些领域的应用有所减少，但它依然是研究和实践中一种重要的工具，特别是在需要处理未标记数据的情况下。此外，DBN的概念和技术也为后来的深度学习模型提供了灵感和支持。

7.Transformer

  Transformer 是一种革命性的深度学习模型架构，最初由 Vaswani 等人在2017年的论文《Attention is All You Need》中提出。它主要用于处理序列数据的任务，如自然语言处理（NLP）中的机器翻译、文本生成等。与传统的循环神经网络（RNN）和卷积神经网络（CNN）相比，Transformer 引入了自注意力机制（self-attention mechanism），使得模型能够并行化计算，并且在长距离依赖问题上表现得更为出色。

核心概念

1. 自注意力机制（Self-Attention Mechanism）
  • 自注意力机制允许模型根据输入序列中的其他词来动态调整每个词的表示。
  • 对于给定的一个词，自注意力机制通过查询（Query）、键（Key）和值（Value）三个向量来计算该词与其他所有词之间的关联度。
  • 具体来说，对于输入序列 (X = (x_1, x_2, …, x_n))，首先通过线性变换得到对应的 (Q)、(K) 和 (V)：
    [
    Q = XW_Q, \quad K = XW_K, \quad V = XW_V
    ]
  • 接着，计算注意力得分矩阵：
    [
    \text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V
    ]
  • 这里，(d_k) 是键向量的维度，分母用于缩放以确保梯度稳定。
2. 多头注意力（Multi-Head Attention）
  • Transformer 使用多个自注意力“头”并行工作，每个头关注输入的不同部分或不同的特征。
  • 多头注意力可以捕捉输入的不同方面的信息，增强模型的表现力。
  • 每个注意力头独立地执行上述的自注意力计算，然后将结果拼接起来并通过一个线性层进行整合。
3. 位置编码（Positional Encoding）
  • 由于自注意力机制本身不考虑输入元素的顺序，因此需要添加位置编码来保留序列中元素的位置信息。
  • 位置编码通常采用正弦和余弦函数的形式，保证不同位置之间的相对距离关系被编码进向量表示中。
4. 前馈神经网络（Feed-Forward Neural Network）
  • 在每个注意力层之后，通常会跟随着一层全连接前馈网络，对每个位置上的向量分别应用相同的线性变换和非线性激活函数（如ReLU）。

结构概述

Transformer 主要由编码器（Encoder）和解码器（Decoder）组成：

  • 编码器：由若干相同结构的层堆叠而成，每层包括一个多头自注意力模块和一个前馈神经网络。此外，还包含残差连接（Residual Connections）和层归一化（Layer Normalization）以加速训练过程。

  • 解码器：除了类似编码器的部分外，还额外包含一个编码器-解码器注意力层，允许解码器关注到编码器的所有输出，这对于像翻译这样的任务非常重要。

训练与推理

  • 训练：使用标准的反向传播算法结合交叉熵损失函数进行训练，适用于监督学习任务。
  • 推理：在生成任务中（如文本生成），逐字预测下一个单词，并将其加入当前序列重新输入模型，直到生成结束标记。

应用场景

Transformer 及其变种已经被广泛应用于各种领域，尤其是自然语言处理领域，包括但不限于：

  • 机器翻译
  • 文本摘要
  • 问答系统
  • 情感分析

  总之，Transformer 的出现极大地推动了自然语言处理技术的发展，它的设计理念也被后续许多先进的模型所借鉴和发展，例如BERT、GPT系列等。

8.图神经网络（Graph Neural Network, GNN）

  图神经网络（Graph Neural Network, GNN）是一种专门设计用来处理图结构数据的深度学习模型。图结构数据由节点（vertices或nodes）和边（edges）组成，广泛存在于社交网络、分子结构、知识图谱等领域。GNN能够有效地捕捉图中节点之间的依赖关系，并为每个节点生成有用的特征表示。

核心概念

1. 图的定义
  • 节点（Nodes/Vertices）：图中的实体，可以代表人（在社交网络中）、原子（在化学分子中）等。
  • 边（Edges）：连接两个节点的关系，可以是有向的或无向的，加权或不加权。
  • 邻接矩阵（Adjacency Matrix）：用于表示图中节点间的连接情况。对于一个有 (N) 个节点的图，其邻接矩阵 (A) 是一个 (N \times N) 的矩阵，其中 (A_{ij} = 1) 表示节点 (i) 和 (j) 之间存在一条边，否则 (A_{ij} = 0)。
2. 消息传递框架

GNN的核心思想是通过迭代的消息传递过程来更新每个节点的特征表示。这一过程通常包括以下几个步骤：

  • 聚合（Aggregation）：收集邻居节点的信息。常见的聚合方法包括求和、平均和最大池化等。
  • 转换（Transformation）：将聚合后的信息与当前节点的特征结合，生成新的节点表示。这一步通常通过一个全连接层完成。
  • 更新（Update）：使用激活函数（如ReLU）对转换后的结果进行非线性变换，得到最终的新节点特征表示。

数学上，第 (l) 层的节点 (v) 的特征更新公式可以表示为：
[
h_v^{(l+1)} = \sigma\left(W^{(l)} \cdot \text{AGGREGATE}{(l)}\left({h_u{(l)}, \forall u \in \mathcal{N}(v)}\right) + b^{(l)}\right)
]
这里，(h_v^{(l)}) 表示节点 (v) 在第 (l) 层的特征表示，(\mathcal{N}(v)) 表示节点 (v) 的邻居集合，(\sigma) 是激活函数，(W^{(l)}) 和 (b^{(l)}) 分别是权重矩阵和偏置项。

3. 变种与扩展
  • 图卷积网络（Graph Convolutional Network, GCN）：一种特殊的GNN，它利用图上的局部一阶近似来进行卷积操作，从而实现节点特征的传播。
  • 图注意力网络（Graph Attention Networks, GAT）：引入注意力机制，使得每个节点可以根据重要性不同地关注其邻居节点的信息。
  • 图采样与归纳学习：对于大规模图，直接应用GNN可能计算成本过高，因此发展出了基于采样的方法来减少计算量。

应用场景

GNN由于其灵活性和强大的表达能力，在多种领域得到了广泛应用：

  • 社交网络分析：预测用户行为、社区发现等。
  • 推荐系统：利用用户-物品交互图提高推荐质量。
  • 药物发现与化学信息学：通过建模分子结构预测化合物性质。
  • 交通流量预测：基于道路网络图预测未来交通状况。
  • 自然语言处理：文本分类、语义角色标注等任务中考虑词语间的关系。

训练与优化

  GNN的训练通常采用监督学习的方式，根据具体任务选择合适的损失函数（如交叉熵损失）。训练过程中，需要特别注意过拟合问题，常用的技术包括正则化、早停法以及dropout等。

  总之，图神经网络提供了一种有效的工具来处理图结构数据，使得机器学习模型能够在保持甚至增强性能的同时适应更复杂的现实世界问题。随着研究的深入和技术的发展，GNN的应用范围正在不断扩大。

http://www.lryc.cn/news/571757.html

相关文章：

  • Ubuntu 使用kubeadm部署k8s系统组件反复重启的问题
  • LVS +Keepalived高可用群集
  • 物联网控制技术期末复习 知识点总结 第六章 物联网控制算法（PID算法 PWM算法）
  • vscode连接不上服务器问题修复
  • 如何运用 AI 工具运营海外社媒账号
  • 借助AI学习编程，走向架构师之路
  • class对象【C#】2025复习
  • 排序算法专题
  • 【文本大模型】从0开始 - 本地部署一个ChatGLM对话模型（基于WebUI）
  • MySQL 索引和查询优化
  • linux虚拟机yum命令报错解决方案
  • 学习大模型---需要掌握的数学知识
  • 【Python编程】__all__ = [] 的作用
  • PROFIBUS转EtherCAT网关：市政再生水厂的智能连接枢纽
  • 二分查找算法题
  • 鸿蒙Next仓颉语言开发实战教程：懒加载
  • Neo4j常见语句-delete
  • 华为云Flexus+DeepSeek征文｜一键部署华为云CCE容器高可用Dify平台的实践经验与思考
  • 部署并了解什么是openstack
  • 结合 STM32CubeMX 使用 FreeRTOS 实时操作系统
  • pyqt 简单条码系统
  • java充电桩源码获取，云快充源码、OCPP、互联互通协议源码实现SpringCloud+vue
  • 对抗性提示：进阶守护大语言模型
  • 使用 Elasticsearch 提升 Copilot 能力
  • Arduino入门教程：10、屏幕显示
  • aws各类服务器编号
  • 阿里云主机自动 HTTPS 证书部署踩坑实录
  • Day04_C语言基础数据结构重点复习笔记20250618
  • 28.行为型模式分析对比
  • linux 下 jenkins 构建 uniapp node-sass 报错