当前位置: 首页 > news >正文

深度学习——损失函数

二、损失函数

  • 损失函数定义:损失函数是用来衡量模型参数的质量的函数,衡量方式是比较网络输出和真实输出的差异

  • 别名:损失函数(loss function),代价函数(cost function),目标函数(objective function),误差函数(error function)

1.多分类损失函数

  • 在多分类任务通常使用softmax将logits转换为概率的形式,所以多分类的交叉熵损失也叫做softmax损失,它的计算方法是:L=−∑i=1nyilog(S(fθ(xi)))L=-\sum_{i = 1}^ny_ilog(S(f_\theta(x_i)))L=i=1nyilog(S(fθ(xi)))
    • yiy_iyi:真实值标签(one_hot热编码)
    • f(x)f(x)f(x)是样本属于某一类别的预测分数
    • S(fθ(xi))S(f_\theta(x_i))S(fθ(xi)):网络输出结果的概率值
    • i=1i=1i=1:样本个数
  • 在pytorch中使用nn.CrossEntropyLoss()实现

2.二分类任务损失函数

  • 在处理二分类任务时, 使用sigmoid激活函数,则损失函数也会进行相应的调整,使用二分类的交叉熵损失函数:L=−ylogy^−(1−y)log(1−y^)L = -ylog\hat y-(1-y)log(1-\hat y)L=ylogy^(1y)log(1y^)
    • y是样本x中属于某一个类别的真实概率
    • y^\hat yy^是严格不能属于某一类别的预测概率
    • LLL用来衡量真实值y与预测值y^\hat yy^之间的差异性的损失结果
  • 在pytorch中使用nn.BCELoss()实现

3.回归任务损失函数-MAE损失函数

  • Mean absolute loss(MAE)也被称为L1 Loss,是以绝对误差作为距离,损失函数公式:L=1n∑i=1n∣yi=fθ(xi)∣L = \frac{1}{n}\sum_{i = 1}^n|y_i=f_\theta(x_i)|L=n1i=1nyi=fθ(xi)
  • 特点:
    • 由于L1 loss具有稀疏性,为了惩罚较大的值,因此常常将其作为正则项添加到其他loss中作为约束;
    • L1 loss的最大问题时梯度在零点不平滑,导致会跳过极小值(最优解)

4.回归任务损失函数-MSE损失函数

  • Mean Squared Loss/Quadratic Loss(MSE loss)也被称作L2 loss,或欧氏距离,它以误差的平方和的均值作为距离损失函数公式:L=1n∑i=1n(yi−fθ(xi))2L = \frac{1}{n}\sum_{i = 1}^n(y_i-f_{\theta(x_i)})^2L=n1i=1n(yifθ(xi))2
  • 特点:
    • L2 loss也常常作为正则项
    • 当预测值与目标值相差很大时,梯度容易爆炸(则尽量不会使用这种损失函数)

5.回归任务损失函数-smooth L1损失函数

  • smooth L1说的是光滑之后的L1,损失函数公式为:smoothL1(x)={0.5x2if ∣x∣<1∣x∣−0.5otherwise\text{smooth}_{L_1}(x) = \begin{cases} 0.5x^2 & \text{if } \vert x \vert < 1 \\ \vert x \vert - 0.5 & \text{otherwise} \end{cases}smoothL1(x)={0.5x2x0.5if x<1otherwise
    • 其中,x=f(x)−yx = f(x)-yx=f(x)y为真实值与预测值的差值
  • 从图像中可以看出,该函数实际上就是一个分段函数
    • [−1,1][-1, 1][1,1]之间实际上就是L2损失,这样解决了L1的不光滑问题
    • [−1,1][-1, 1][1,1]区间外,实际上就是L1损失,这样就解决了离群点梯度爆炸的问题
http://www.lryc.cn/news/583634.html

相关文章:

  • Hexo + Butterfly + Vercel 完整个人Blog部署指南
  • Flask3.1打造极简CMS系统
  • 自动化Trae Apollo参数解释的批量获取
  • 股权结构解析
  • SpringBoot集成文件 - 大文件的上传(异步,分片,断点续传和秒传)
  • 专题一_双指针_查找总价格为目标值的两个商品
  • 拼多多正在错失即时零售?
  • ECR仓库CloudFormation模板完整指南
  • 【每日算法】专题六_模拟
  • WPF学习笔记(27)科学计算器
  • 1、专栏介绍以及目录
  • 周立功汽车软件ZXDoc深度解析:新能源汽车开发新基建的破局之道
  • eggNOG数据库注释文件
  • 以太网基础④IP 协议介绍与 IP 校验和算法实现
  • 【Linux网络编程】Socket - TCP
  • Java-----韩顺平单例设计模式学习笔记
  • swiglu 激活函数学习笔记
  • Java垃圾收集机制Test1
  • [Python] 区分方法 函数
  • 深度解析:将SymPy符号表达式转化为高效NumPy计算函数的通用解决方案
  • Git系列--3.分支管理
  • Python管理咨询数据可视化实战:收入分布与顾问利用率双轴对比图表生成脚本
  • 零基础上手 Amazon DynamoDB:NoSQL 数据库服务的核心概念与快速搭建指南
  • SQL Server 2008R2 到 2012 数据库迁移完整指南
  • Redis-哨兵选取主节点流程
  • CVE-2025-32463复现
  • AI进化论03:达特茅斯会议——AI的“开宗立派”大会
  • SpringBoot实现MCP
  • Git版本控制完全指南:从入门到实战(简单版)
  • 【LeetCode207.课程表】以及变式