当前位置： 首页 > news >正文

【漫话机器学习系列】005.神经网络的结构（architecture on the neural network）

news 2025/7/20 16:45:34

神经网络（Neural Network）是一种模拟人脑神经系统的计算模型，由大量相互连接的神经元（节点）组成，广泛应用于深度学习和机器学习领域。以下是神经网络的基本结构及关键组成部分。

1. 神经网络的基本组成

一个神经网络通常由以下部分组成：

  1. 输入层（Input Layer）：

    • 接收输入数据，每个节点代表一个输入特征。
    • 输入数据的维度决定输入层的神经元个数。

  2. 隐藏层（Hidden Layers）：

    • 位于输入层和输出层之间。
    • 包含多个神经元，负责学习和提取特征。
    • 可以有多个隐藏层，层数和每层的神经元数量决定网络的复杂度。

  3. 输出层（Output Layer）：

    • 生成最终的输出。
    • 输出神经元的数量取决于任务类型：
      • 回归任务：一个输出神经元。
      • 二分类任务：一个神经元（通常配合 Sigmoid 激活函数）。
      • 多分类任务：输出神经元数量等于类别数量（通常配合 Softmax 激活函数）。

  4. 连接权重和偏置（Weights & Biases）：

    • 权重：连接神经元之间的权重，表示输入特征的重要性。
    • 偏置：调整模型的灵活性，帮助模型更好地拟合数据。
2. 神经元的结构

每个神经元是一个简单的计算单元，核心结构包括：

  1. 输入：

    • 接收来自上一层神经元的输出，经过权重和偏置修正。

  2. 线性组合：

    • 对输入进行加权求和： z = \sum w_i x_i + b
      • w_i：权重
      • x_i：输入
      • b：偏置

  3. 激活函数（Activation Function）：

    • 将线性组合的结果映射为非线性输出，便于处理复杂问题。
    • 常见激活函数：
      • Sigmoid: \sigma(z) = \frac{1}{1 + e^{-z}}
      • Tanh: \tanh(z) = \frac{e^z - e^{-z}}{e^z + e^{-z}}
      • ReLU: f(z) = \max(0, z)

  4. 输出：

    • 激活函数的结果传递到下一层。
3. 网络拓扑结构

根据网络的连接方式和节点分布，神经网络可以有不同的拓扑结构：

  1. 全连接网络（Fully Connected Network, FCN）：

    • 每个神经元与下一层的每个神经元相连。
    • 用于处理结构化数据。

  2. 卷积神经网络（Convolutional Neural Network, CNN）：

    • 用于图像数据。
    • 包括卷积层、池化层、全连接层等。

  3. 循环神经网络（Recurrent Neural Network, RNN）：

    • 用于处理序列数据（如时间序列、文本）。
    • 包括 LSTM 和 GRU 等改进版本。

  4. 生成对抗网络（Generative Adversarial Network, GAN）：

    • 包括生成器和判别器两个子网络，用于生成数据。
4. 前向传播与反向传播

  1. 前向传播（Forward Propagation）：

    • 数据从输入层经过隐藏层传递到输出层。
    • 计算每层的激活值，最终输出预测值。

  2. 反向传播（Backpropagation）：

    • 根据损失函数计算误差。
    • 从输出层向输入层更新权重和偏置。
    • 使用梯度下降算法进行优化。
5. 损失函数

损失函数用于衡量模型预测值与真实值的差异。

  1. 均方误差（MSE）：

    • 用于回归问题。
    MSE = \frac{1}{n} \sum_{i=1}^n (y_i - \hat{y}_i)^2

  2. 交叉熵损失（Cross-Entropy Loss）：

    • 用于分类问题。
    L = - \sum_{i=1}^n y_i \log(\hat{y}_i)
6. 神经网络的深度

  1. 浅层神经网络（Shallow Neural Network）：

    • 只有一个隐藏层，适用于简单问题。

  2. 深度神经网络（Deep Neural Network, DNN）：

    • 包含多个隐藏层，可以表示复杂的非线性关系。
7. 总结

神经网络的结构灵活多样，其核心在于通过前向传播和反向传播不断调整参数，以提高模型对数据的拟合能力。根据任务和数据类型，选择适当的网络结构和优化方法是构建神经网络的关键。

http://www.lryc.cn/news/504271.html

相关文章：

  • 基于 Couchbase 数据仓库元数据管理的可行性方案
  • SpringBoot：快速构建微服务应用
  • 汽车嵌入式软件构建高效技术团队的全面思考
  • 【跨库查询、多库查询】.NET开源 ORM 框架 SqlSugar 系列
  • 智能人体安全防护：3D 视觉技术原理、系统架构与代码实现剖析
  • 第24周：文献阅读
  • yolov8 转华为昇腾om脚本
  • 分布式事物XA、BASE、TCC、SAGA、AT
  • 域名信息收集（小迪网络安全笔记~
  • 力扣-图论-13【算法学习day.63】
  • 【设计模式】如何用C++实现观察者模式【发布订阅机制】
  • 【LC】2717. 半有序排列
  • AI智算-k8s部署大语言模型管理工具Ollama
  • CloudberryDB（二） 演化路线图
  • 《拉依达的嵌入式\驱动面试宝典》—C/CPP基础篇(二)
  • 实现canal监控binlog日志再通过消息队列异步处理
  • Linux DNS 协议概述
  • linux打包qt程序
  • 软考中级-软件设计师通过心路经验分享
  • safe area helper插件
  • 李宏毅机器学习-批次 (batch)和动量(momentum)
  • C# 网络编程--关于UDP 通信（二）
  • 【k8s集群应用】Kubernetes部署安装-二进制部署实例
  • js常见代码输出问题之promise,await,变量提升以及闭包（包括例子以及详细解析）
  • 遗传算法与深度学习实战（27）——进化卷积神经网络
  • 【Vue3】前端使用 FFmpeg.wasm 完成用户视频录制，并对视频进行压缩处理
  • 基础算法——前缀和
  • spring实例化对象的几种方式（使用XML配置文件）
  • 【二叉树】力扣 129.求根节点到叶子节点数字之和
  • 深度学习物体检测之YOLOV5源码解读