当前位置: 首页 > news >正文

神经网络基础及API使用详解

一、神经网络概述

神经网络是一种模仿生物神经网络结构和功能的计算模型,它由大量的人工神经元相互连接构成,能够通过调整内部大量节点之间相互连接的关系,从而达到处理信息的目的。

 

1.1 神经网络的基本组成

  • 输入层:接收原始数据

  • 隐藏层:负责特征提取和转换(可以有多层)

  • 输出层:输出最终结果

  • 权重(Weights):连接神经元之间的强度

  • 偏置(Bias):增加模型的灵活性

  • 激活函数:引入非线性因素

 

1.2 神经网络的工作流程

  1. 前向传播:数据从输入层流向输出层

  2. 计算损失:比较预测值与真实值的差异

  3. 反向传播:根据损失调整权重和偏置

  4. 参数更新:使用优化器更新网络参数

二、使用TensorFlow构建神经网络

TensorFlow是Google开发的开源机器学习框架,下面我们详细介绍如何使用TensorFlow构建神经网络。

2.1 TensorFlow核心API介绍

2.1.1 tf.keras.Sequential

Sequential模型是层的线性堆叠,适用于简单的网络结构。

import tensorflow as tf
from tensorflow import keras
from tensorflow.keras import layers# 创建一个Sequential模型
model = keras.Sequential([layers.Dense(64, activation='relu', input_shape=(784,)),layers.Dense(64, activation='relu'),layers.Dense(10, activation='softmax')
])
2.1.2 layers.Dense

Dense是全连接层,主要参数包括:

  • units:正整数,输出空间的维度

  • activation:激活函数,如'relu', 'sigmoid', 'softmax'等

  • use_bias:布尔值,是否使用偏置向量

  • kernel_initializer:权重矩阵的初始化器

  • bias_initializer:偏置向量的初始化器

  • kernel_regularizer:权重矩阵的正则化函数

  • bias_regularizer:偏置向量的正则化函数

# 更详细的Dense层示例
dense_layer = layers.Dense(units=128,                           # 输出维度activation='relu',                   # 激活函数kernel_initializer='he_normal',      # 权重初始化bias_initializer='zeros',            # 偏置初始化kernel_regularizer=keras.regularizers.l2(0.01),  # L2正则化name='dense_layer_1'                 # 层名称
)

2.2 模型编译

在训练模型之前,需要配置学习过程,这是通过compile方法完成的。

model.compile(optimizer=keras.optimizers.Adam(learning_rate=0.001),  # 优化器loss='sparse_categorical_crossentropy',  # 损失函数metrics=['accuracy']                     # 评估指标
)
2.2.1 常用优化器参数
  • keras.optimizers.Adam:

    • learning_rate:学习率,默认为0.001

    • beta_1:一阶矩估计的指数衰减率,默认为0.9

    • beta_2:二阶矩估计的指数衰减率,默认为0.999

    • epsilon:数值稳定性的小常数,默认为1e-7

  • keras.optimizers.SGD:

    • learning_rate:学习率

    • momentum:动量参数

    • nesterov:是否使用Nesterov动量

2.2.2 常用损失函数
  • binary_crossentropy:二分类问题

  • categorical_crossentropy:多分类问题(标签为one-hot编码)

  • sparse_categorical_crossentropy:多分类问题(标签为整数)

  • mse:回归问题的均方误差

2.3 模型训练

使用fit方法训练模型:

history = model.fit(x_train,                    # 训练数据y_train,                    # 训练标签batch_size=32,              # 批量大小epochs=10,                  # 训练轮数validation_split=0.2,       # 验证集比例verbose=1,                  # 日志显示模式:0=不输出,1=进度条,2=每个epoch一行callbacks=[...]             # 回调函数列表
)

2.4 模型评估与预测 

# 评估模型
test_loss, test_acc = model.evaluate(x_test, y_test, verbose=2)# 进行预测
predictions = model.predict(x_test)

三、PyTorch神经网络实现

PyTorch是另一个流行的深度学习框架,下面介绍如何使用PyTorch构建神经网络。

3.1 PyTorch核心API

3.1.1 torch.nn.Module

所有神经网络模块的基类,自定义网络需要继承此类。

import torch
import torch.nn as nn
import torch.nn.functional as Fclass Net(nn.Module):def __init__(self):super(Net, self).__init__()self.fc1 = nn.Linear(784, 256)  # 输入层到隐藏层self.fc2 = nn.Linear(256, 128)  # 隐藏层到隐藏层self.fc3 = nn.Linear(128, 10)   # 隐藏层到输出层self.dropout = nn.Dropout(0.2)   # Dropout层def forward(self, x):x = x.view(-1, 784)            # 展平输入x = F.relu(self.fc1(x))        # 第一层+ReLU激活x = self.dropout(x)            # 应用Dropoutx = F.relu(self.fc2(x))         # 第二层+ReLU激活x = self.dropout(x)            # 应用Dropoutx = self.fc3(x)                # 输出层return F.log_softmax(x, dim=1)  # LogSoftmax激活
3.1.2 nn.Linear

PyTorch中的全连接层,参数包括:

  • in_features:输入特征数

  • out_features:输出特征数

  • bias:是否添加偏置(默认为True)

3.2 训练过程

# 实例化网络
model = Net()# 定义损失函数和优化器
criterion = nn.NLLLoss()  # 负对数似然损失
optimizer = torch.optim.Adam(model.parameters(), lr=0.001)# 训练循环
for epoch in range(10):model.train()  # 设置为训练模式for data, target in train_loader:optimizer.zero_grad()  # 清空梯度output = model(data)   # 前向传播loss = criterion(output, target)  # 计算损失loss.backward()        # 反向传播optimizer.step()       # 更新参数# 验证model.eval()  # 设置为评估模式val_loss = 0correct = 0with torch.no_grad():  # 不计算梯度for data, target in val_loader:output = model(data)val_loss += criterion(output, target).item()pred = output.argmax(dim=1, keepdim=True)correct += pred.eq(target.view_as(pred)).sum().item()val_loss /= len(val_loader.dataset)print(f'Epoch {epoch}, Validation loss: {val_loss:.4f}, Accuracy: {correct}/{len(val_loader.dataset)} ({100. * correct / len(val_loader.dataset):.0f}%)')

四、神经网络高级API使用

4.1 Keras函数式API

对于更复杂的模型,可以使用Keras的函数式API:

# 输入层
inputs = keras.Input(shape=(784,), name='digits')# 中间层
x = layers.Dense(64, activation='relu', name='dense_1')(inputs)
x = layers.Dense(64, activation='relu', name='dense_2')(x)# 输出层
outputs = layers.Dense(10, activation='softmax', name='predictions')(x)# 创建模型
model = keras.Model(inputs=inputs, outputs=outputs)# 编译模型
model.compile(optimizer=keras.optimizers.RMSprop(learning_rate=0.001),loss='sparse_categorical_crossentropy',metrics=['accuracy']
)

4.2 自定义层

在Keras中创建自定义层:

class CustomDense(layers.Layer):def __init__(self, units=32, activation=None):super(CustomDense, self).__init__()self.units = unitsself.activation = keras.activations.get(activation)def build(self, input_shape):# 创建可训练权重self.w = self.add_weight(shape=(input_shape[-1], self.units),initializer='random_normal',trainable=True)self.b = self.add_weight(shape=(self.units,),initializer='zeros',trainable=True)def call(self, inputs):# 实现前向传播x = tf.matmul(inputs, self.w) + self.bif self.activation is not None:x = self.activation(x)return x# 使用自定义层
model = keras.Sequential([CustomDense(64, activation='relu'),CustomDense(10, activation='softmax')
])

4.3 回调函数

回调函数可以在训练过程中执行特定操作:

# 定义回调列表
callbacks = [# 早停:当验证损失不再改善时停止训练keras.callbacks.EarlyStopping(monitor='val_loss',  # 监控指标patience=5,         # 等待epochs数min_delta=0.001,    # 最小变化量verbose=1),# 模型检查点:保存最佳模型keras.callbacks.ModelCheckpoint(filepath='best_model.h5',  # 保存路径monitor='val_loss',        # 监控指标save_best_only=True,       # 只保存最佳模型verbose=1),# 学习率调度器keras.callbacks.ReduceLROnPlateau(monitor='val_loss',  # 监控指标factor=0.1,         # 学习率乘以的因子patience=3,         # 等待epochs数min_lr=0.00001,     # 学习率下限verbose=1)
]# 训练时使用回调
model.fit(x_train, y_train,epochs=50,validation_data=(x_val, y_val),callbacks=callbacks
)

五、神经网络应用示例

5.1 图像分类(CNN)

使用卷积神经网络进行图像分类:

# 构建CNN模型
model = keras.Sequential([# 卷积层layers.Conv2D(32, (3, 3), activation='relu', input_shape=(28, 28, 1)),layers.MaxPooling2D((2, 2)),# 第二个卷积层layers.Conv2D(64, (3, 3), activation='relu'),layers.MaxPooling2D((2, 2)),# 第三个卷积层layers.Conv2D(64, (3, 3), activation='relu'),# 展平后接全连接层layers.Flatten(),layers.Dense(64, activation='relu'),layers.Dense(10, activation='softmax')
])# 编译模型
model.compile(optimizer='adam',loss='sparse_categorical_crossentropy',metrics=['accuracy'])# 训练模型
history = model.fit(train_images, train_labels, epochs=10, validation_data=(test_images, test_labels))

5.2 文本分类(RNN)

使用循环神经网络进行文本分类:

# 构建RNN模型
model = keras.Sequential([# 嵌入层:将单词索引转换为密集向量layers.Embedding(input_dim=10000, output_dim=64),# LSTM层layers.LSTM(64, return_sequences=True),layers.LSTM(32),# 全连接层layers.Dense(64, activation='relu'),layers.Dropout(0.5),layers.Dense(1, activation='sigmoid')  # 二分类输出
])# 编译模型
model.compile(optimizer='adam',loss='binary_crossentropy',metrics=['accuracy'])# 训练模型
history = model.fit(train_data, train_labels,epochs=10,batch_size=32,validation_split=0.2)

六、神经网络调优技巧

6.1 超参数调优

使用Keras Tuner进行超参数搜索:

import kerastuner as ktdef build_model(hp):model = keras.Sequential()model.add(layers.Flatten(input_shape=(28, 28)))# 调整全连接层单元数hp_units = hp.Int('units', min_value=32, max_value=512, step=32)model.add(layers.Dense(units=hp_units, activation='relu'))# 调整学习率hp_learning_rate = hp.Choice('learning_rate', values=[1e-2, 1e-3, 1e-4])model.add(layers.Dense(10, activation='softmax'))model.compile(optimizer=keras.optimizers.Adam(learning_rate=hp_learning_rate),loss='sparse_categorical_crossentropy',metrics=['accuracy'])return model# 初始化调优器
tuner = kt.Hyperband(build_model,objective='val_accuracy',max_epochs=10,factor=3,directory='my_dir',project_name='mnist')# 执行搜索
tuner.search(train_images, train_labels, epochs=10, validation_data=(test_images, test_labels))# 获取最佳模型
best_model = tuner.get_best_models(num_models=1)[0]

6.2 正则化技术

防止过拟合的常用方法:

1.L1/L2正则化

# 添加L2正则化的Dense层
layers.Dense(64, activation='relu',kernel_regularizer=keras.regularizers.l2(0.01))

    2.Dropout

    model = keras.Sequential([layers.Dense(64, activation='relu'),layers.Dropout(0.5),  # 随机丢弃50%的神经元layers.Dense(10, activation='softmax')
    ])

    3.Batch Normalization

    model = keras.Sequential([layers.Dense(64),layers.BatchNormalization(),layers.Activation('relu'),layers.Dense(10, activation='softmax')
    ])

    七、总结

    本文详细介绍了神经网络的基本概念、TensorFlow和PyTorch框架的使用方法,包括核心API的参数解释和示例代码。我们还探讨了高级API使用、自定义层实现、回调函数应用以及神经网络在不同领域的应用示例。最后,介绍了神经网络调优的常用技巧。

    神经网络是深度学习的基础,掌握其原理和实现方法对于从事人工智能相关工作至关重要。希望本文能够帮助你更好地理解和应用神经网络。

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

    http://www.lryc.cn/news/583369.html

    相关文章:

  1. 机器学习(西瓜书) 第四章 决策树
  2. 通用游戏前端架构设计思考
  3. 自动化测试报告优化:jenkins+jmeter定制化HTML报告生成
  4. skywalking-agent-docker镜像
  5. 方差、协方差和协方差矩阵
  6. Windows 10/11新系统跳过强制联网激活和注册微软账户
  7. JavaScript数组键值去重方法
  8. 【C++】容器适配器 + stack/queue/deque详解
  9. EFK9.0.3 windows搭建
  10. Ubuntu连接不上网络问题(Network is unreachable)
  11. ubuntu环境下调试 RT-Thread
  12. windows部署多实例filebeat监控相同路径下文件
  13. 【Kafka】登录日志处理的三次阶梯式优化实践:从同步写入到Kafka多分区批处理
  14. SAP-ABAP:SAP中DELECT语句用法详解实例总结
  15. Go语言Gin框架实战:开发技巧
  16. 2024 睿抗编程技能赛——省赛真题解析(含C++源码)
  17. 【Python】遇到 “non-integer arg 1 for randrange() ” 问题的解决方法
  18. 技术开发栈中 URL地址末尾加不加 “/“ 有什么区别?
  19. 闲庭信步使用图像验证平台加速FPGA的开发:第六课——测试图案的FPGA实现
  20. 解决IDEA缺少Add Framework Support选项的可行性方案
  21. java中list.remove(item); // 直接移除会导致ConcurrentModificationException
  22. 图像自动化处理初探:从拖拽上传到参数设置
  23. 基于Java+Maven+Testng+Selenium+Log4j+Allure+Jenkins搭建一个WebUI自动化框架(5)失败用例截图与重试
  24. 制作MikTex本地包可用于离线安装包
  25. Synology Cloud Sync构建的企业级跨域数据中台
  26. 前端性能优化:从之理论到实践的破局道
  27. 【PTA数据结构 | C语言版】一元多项式求导
  28. 使用 Docker 搭建 Rust Web 应用开发环境——AI教你学Docker
  29. 图像处理中的凸包检测:原理与实现
  30. 前端开发自动化设计详解