当前位置: 首页 > news >正文

sin函数拟合

目录

一、 目的... 1

二、 模型设计... 1

2.1 输入与输出.... 1

2.2 隐藏层设计.... 1

2.3 优化算法与损失函数.... 1

2.4 神经网络结构.... 1

三、 训练... 1

3.1 数据生成.... 2

3.2 训练过程.... 2

3.3 训练参数与设置.... 2

四、 测试与分析... 2

4.1 选取不同激活函数.... 2

4.2 增加偏置.... 3

... 4

4.3 减少训练量.... 4

4.4 损失曲线分析.... 4

4.5 模型预测分析.... 5

五、 代码... 5

  • 目的

通过构建一个简单的三层神经网络,模拟正弦函数 y = sin(2πx) 的映射关系,并使用 PyTorch 框架进行训练与优化,即输入x后会产生一个和正弦函数相同结果的y。

  • 模型设计

2.1 输入与输出

本研究中的神经网络模型包括输入层、隐藏层和输出层。输入层包含一个神经元,用于接收单一的自变量 x。输出层同样包含一个神经元,输出模型计算得到的结果 y,即预测的正弦值。

2.2 隐藏层设计

网络的隐藏层包含 10 个神经元。此设计旨在增强网络的非线性表达能力,使其能够准确模拟正弦函数的波动特性。激活函数选择了 Tanh(双曲正切函数),该函数的输出范围为 [-1, 1],更符合正弦波的输出特性,相较于 Sigmoid 函数,Tanh 能更有效地模拟正弦波的起伏。

2.3 优化算法与损失函数

模型使用 Adam 优化器 进行训练。Adam 优化器结合了动量和自适应学习率,能够有效加速收敛并避免梯度消失或爆炸的情况。在损失函数的选择上,本研究使用了 均方误差(MSE)损失函数,该函数能衡量网络输出与目标正弦值之间的差异,并通过最小化损失函数来优化网络参数。

2.4 神经网络结构

模型的具体结构如下:

输入层

1 个神经元,用于接收输入 x

隐藏层

10 个神经元,激活函数为 Tanh

输出层

1 个神经元,输出拟合的正弦值

  • 训练

3.1 数据生成

为了进行模型训练,首先生成了 x 和 y 的训练数据,其中 x 在区间 [0, 1) 内均匀分布,步长为 0.01,生成 100 个数据点。对应的 y 值则通过正弦函数 y = sin(2πx) 计算得到。这些数据用于训练神经网络,使其学习到 x 与 y 之间的映射关系。

3.2 训练过程

本研究采用 随机梯度下降法(SGD 结合 Adam 优化器 对模型进行训练。训练的核心目标是最小化均方误差损失函数,以不断调整神经网络的权重和偏置。在每次迭代中,网络通过前向传播计算输出,通过反向传播计算梯度,并利用 Adam 优化器更新网络参数。训练过程的停止条件为最大迭代次数 10,000 次,损失值逐渐趋于稳定。

3.3 训练参数与设置

训练过程中使用的主要参数如下:

学习率

0.001,优化器的学习率设置为 0.001

迭代次数

最大迭代次数设置为 10,000

损失函数

均方误差(MSE)损失函数

优化器

Adam 优化器

  • 测试与分析
  1. 选取不同激活函数

如图 1和图 2所示,在本模型中,我们选择使用 Tanh 激活函数而非 Sigmoid 函数,主要是因为二者的输出范围与正弦函数的特性不匹配。Sigmoid 函数的输出范围是 (0, 1),无法有效表示正弦函数的负值部分,而正弦函数的输出范围是 [-1, 1],且具有周期性的波动。相对而言,Tanh 激活函数的输出范围为 [-1, 1],更符合正弦函数的特性,能够同时表示正负值,从而使得神经网络能够更有效地拟合正弦波的起伏。因此,选择 Tanh 激活函数有助于模型更准确地模拟正弦函数。

1 tanh双正切函数

2 sigmoid型函数

  1. 增加偏置

如图 3所示,在神经网络中,增加偏置项可以显著提升模型的拟合能力。偏置项允许每个神经元在计算时具有一个额外的自由度,使得网络能够更好地适应数据的分布。在没有偏置项的情况下,神经元的输出完全依赖于输入的加权和,限制了模型的表达能力。加入偏置项后,神经元的输出不再局限于零点,能够对输入数据进行更灵活的平移,从而更准确地捕捉到数据的特征。在拟合正弦函数的任务中,增加偏置项使得网络能够更有效地模拟正弦波的起伏,改善了拟合的效果,减少了偏差,提升了模型的预测精度。

3 增加偏置后的效果

  1. 减少训练量

减少训练的 epoch 数量可能导致模型出现欠拟合,因为模型没有足够的时间来学习数据的特征,从而无法有效捕捉到数据的复杂模式。。虽然减少 epoch 数量可以节省计算资源,但这往往以牺牲模型的表现为代价。


4减少训练的 epoch 数量

  1. 损失曲线分析

训练过程中,损失曲线的变化呈现出明显的规律性。初期,损失值较高,说明模型尚未有效学习到正弦函数的特性。随着训练的进行,损失逐渐下降,表明模型在不断优化,逐步逼近最优解。最终,损失曲线趋于平稳,接近最小值,表明模型已经学习到了数据中的规律,达到了收敛状态。

  1. 模型预测分析

通过对比模型的预测值与原始数据,可以看出,预测值与实际正弦函数的值非常接近,表明模型已成功模拟了正弦函数的行为。在可视化图中,红色的点表示预测值,蓝色的点表示实际值,两者几乎完全重合,进一步验证了模型在函数拟合任务中的高效性和准确性。

  • 代码

核心代码

介绍:这段代码是使用 Python 编写的,主要利用了 PyTorch NumPy 库来训练一个简单的神经网络模型进行数据拟合。训练过程中的损失值会被记录并展示出来,同时还会展示模型预测结果与原始数据的对比图。

import torch

import torch.nn as nn

import numpy as np

import matplotlib.pyplot as plt

import os

os.environ["KMP_DUPLICATE_LIB_OK"] = "TRUE"  # 忽略重复的库文件警告

class Network(nn.Module):

    def __init__(self, n_in, n_hidden, n_out):

        super().__init__()

        self.layer1 = nn.Linear(n_in, n_hidden, bias=False)

        self.layer2 = nn.Linear(n_hidden, n_out, bias=False)

    def forward(self, x):

        x = self.layer1(x)

        x = torch.tanh(x)  # 使用 Tanh 激活函数

        return self.layer2(x)

def generate_data(start=0.0, end=1.0, step=0.01):

    """生成训练数据"""

    x = np.arange(start, end, step)

    y = np.sin(2 * np.pi * x)

    return x.reshape(len(x), 1), y.reshape(len(y), 1)

def train_model(model, x, y, criterion, optimizer, num_epochs=10000):

    """训练模型并返回训练过程中的损失值"""

    loss_values = []

    for epoch in range(num_epochs):

        y_pred = model(x)  # 前向传播

        loss = criterion(y_pred, y)  # 计算损失

        loss.backward()  # 反向传播

        optimizer.step()  # 更新参数

        loss_values.append(loss.item())  # 保存损失值

        optimizer.zero_grad()  # 清空梯度

        # 100次打印一次损失值

        if epoch % 100 == 0:

            print(f'After {epoch} iterations, the loss is {loss.item()}')

    return loss_values

def plot_results(x, y, h, loss_values, num_epochs):

    """绘制原始数据、预测数据和训练损失曲线"""

    fig, axs = plt.subplots(1, 2, figsize=(14, 6))  # 一行两列的子图布局

    # 第一个子图:原始数据与预测数据的散点图

    axs[0].scatter(x, y, label='Original Data')

    axs[0].scatter(x, h, label='Predicted Data', color='r')

    axs[0].set_title("Model Prediction vs Original Data")

    axs[0].legend()

    # 第二个子图:训练损失曲线

    axs[1].plot(range(num_epochs), loss_values, label='Loss Curve')

    axs[1].set_xlabel('Epochs')

    axs[1].set_ylabel('Loss')

    axs[1].set_title('Training Loss')

    axs[1].legend()

    plt.tight_layout()  # 自动调整子图间距

    plt.show()

if __name__ == '__main__':

    # 生成数据

    x, y = generate_data()

    x = torch.Tensor(x)

    y = torch.Tensor(y)

    # 初始化模型、损失函数和优化器

    model = Network(1, 10, 1)

    criterion = nn.MSELoss()  # 均方误差损失函数

    optimizer = torch.optim.Adam(model.parameters(), lr=0.001# Adam优化器

    # 训练模型

    loss_values = train_model(model, x, y, criterion, optimizer, num_epochs=10000)

    # 获取预测值

    h = model(x).detach().numpy()  # 获取模型输出并转为numpy数组

    x = x.detach().numpy()  # 获取输入数据

    # 调用绘图函数

    plot_results(x, y, h, loss_values, num_epochs=10000)

http://www.lryc.cn/news/493271.html

相关文章:

  • 设置Mysql5.6允许外网访问
  • 【随笔】一次JS和python中的MD5加密的记录
  • 力扣 二叉树的中序遍历
  • uniapp学习(010-3 实现H5和安卓打包上线)
  • 基于DHCP,ACL的通信
  • 金融租赁系统助力企业升级与风险管理的新篇章
  • linux安装部署mysql资料
  • 深入理解 MongoDB:一款灵活高效的 NoSQL 数据库
  • 爆改老旧笔记本---将笔记本改造为家用linux服务器
  • RocketMQ MQTT Windows10 环境启动
  • sd webui整合包怎么安装comfyui
  • Edify 3D: Scalable High-Quality 3D Asset Generation
  • 鸿蒙HarmonyOS学习笔记(6)
  • 蓝桥杯备赛笔记(一)
  • 在Java中使用Apache POI导入导出Excel(二)
  • linux 中后端jar包启动不起来怎么回事 -bash: java: 未找到命令
  • 六大排序算法:插入排序、希尔排序、选择排序、冒泡排序、堆排序、快速排序
  • 快速排序(C++实现)
  • 【数据库知识】数据库关系代数表达式
  • linux系统清理全部python环境并重装
  • Servlet的介绍
  • DICOM医学影像应用篇——伪彩色映射 在DICOM医学影像中的应用详解
  • (超详细图文详情)Navicat 配置连接 Oracle
  • PyTorch:神经网络的基本骨架 nn.Module的使用
  • 学习threejs,使用CubeCamera相机创建反光效果
  • Linux网络——IO模型和多路转接
  • 【计网】自定义序列化反序列化(二) —— 实现网络版计算器【上】
  • 数据结构2:顺序表
  • python学习——元组
  • apache实现绑定多个虚拟主机访问服务