当前位置: 首页 > news >正文

3、论文阅读:EnYOLO:一种基于图像增强的水下目标区域自适应实时检测框架

图像增强和目标检测的结合

  • 前言
  • 介绍
  • 相关工作
    • UIE 水下图像增强
    • UOD 水下目标检测
    • UDA 水下域自适应
  • 方法介绍
    • 训练过程
    • 推理过程
    • 网络概述
    • 多阶段训练策略
      • Burn-In Stage(预热阶段)
      • Mutual-Learning Stage(相互学习阶段)
      • Domain-Adaptation Stage(领域适应阶段)
    • 多阶段训练策略算法介绍
    • 损失设计
      • Burn-In Stage
      • Mutual-Learning Stage
      • Domain-Adaptation Stage
  • 实验
    • 实验的细节
      • 数据集
      • 训练设置
    • 水下图像增强实验
    • 水下目标检测实验
  • 结论
  • 代码

前言

UIE:水下图像增强
UOD:水下目标检测
AUVS:自主水下航行器
水下图像增强在水下目标检测任务方面应用不多,具体有一下原因:
(1)使用UIE作为预处理步骤,引入了很大的计算量
(2)在目标检测之前进行图像增强未必能够产生性能改进
(3)复杂的水下环境导致不同场景下的域偏移,严重影响UOD性能
为了解决这些挑战,我们引入了EnYOLO,这是一种集成的实时框架,设计用于同时进行UIE和UOD,并具有域适应能力。具体地说,UIE和UOD任务头共享相同的网络主干,并利用轻量级设计。
此外,我们提出一种新颖的领域适应性策略,以对齐来自不同水下环境的特征嵌入

介绍

复杂的水下环境导致水下图像的质量很差,因此,用UIE方法获取清晰的水下图像通常被认为是与视觉相关的水下任务的必要前提。为此,引入了EnYOLO:基于领域自适应的实时UIE和UOD集成框架。UIE和UOD任务负责人都利用相同的网络主干,并采用轻量级架构。此外,我们引入了一种多阶段的训练方法,以保持训练这两个任务的平衡,其总体目标是不断提高其性能。另外,我们还提出一种新的领域自适应方法来减轻水下各种环境的域差距

相关工作

UIE 水下图像增强

传统的方法通过在一定的先验假设下估计后向散射和透射,可以得到清晰的图像,它们的功效在复杂的现实世界场景中可能会下降。
相比之下,基于学习的方法直接获得从退化的水下图像到其清晰对应物的映射,在复杂情况下表现出更好的适应性。

UOD 水下目标检测

通常在水下目标检测之前先进行水下图像增强,但是会引入大量的计算,同时,增强图像中潜在伪影的存在也会导致某些环境中检测性能的下降、

UDA 水下域自适应

通过减轻不同领域之间的特征分布变化,领域自适应技术已经在各种各样的任务中进行了研究。在水下视觉任务的背景下,UIE主要讨论了领域自适应。目前的技术主要局限于UIE领域,对UOD领域适应性的探索有限。本研究中,我们提出了一种简单而有效的领域调适策略,以利用UIE所衍生的增强型特征嵌入。

方法介绍

我们提出的框架旨在同时有效地启用UIE和UOD。
我们使用成对的合成水下数据集Dps={(xs, ˆxs)i, i ∈ [1, ns]}来促进UIE任务的训练。ns表示数据集的大小。xs表示退化的合成水下图像,而 ˆxs是对应的清晰图像
对于UOD任务的训练,我们利用带标签的真实世界水下数据集Dlr ={(xr, br, cr)i, i ∈ [1, nr]};;其中nr表示真实世界数据集大小,xr表示真实世界水下图像,br表示边界框注释,cr是类标签。此外,Dlr中的真实水下图像即xr还构成了不成对的真实水下数据集Dur = {(xr)i,i ∈ [1,nr]},以增强UIE模块在真实世界场景中的性能。此外,UIE针对每个xr的增强结果ˆxr,连同他们对应的br和cr,用公式表示标记的增强现实世界数据集Dle = {( ˜xr, br, cr)i, i ∈ [1, nr]},也用于训练UOD任务。
在推理过程中,网络获取真实水下图像xr,并随后预测增强的图像ˆxr和检测结果(˜br, ˜cr)<

http://www.lryc.cn/news/443889.html

相关文章:

  • MYSQL面试知识点手册
  • 排序算法的分析和应用
  • iptables限制网速
  • ALSA ubuntu 编译
  • 【学习笔记】SSL/TLS证书安全机制之证书透明
  • 网络编程问题解答
  • 【开源免费】基于SpringBoot+Vue.JS服装商城系统(JAVA毕业设计)
  • C语言字符串学习
  • 当你在Linux系统中使用MySQL命令行工具查询数据库时,如果中文显示为问号(?)或其他乱码,简单解决办法。(2)
  • API网关之Fizz Gateway
  • pgvector docker版安装;稀疏向量使用;psycopg2 python连接使用
  • C#命令行参数解析库System.CommandLine介绍
  • CCF CSP题解:密码(key)(202409-1)
  • RuntimeError: Maximum Recursion Depth Exceeded - 递归深度超限的完美解决方案
  • Linux1-ls,cd,pwd
  • 【高级编程】XML DOM4J解析XML文件(含案例)
  • 查看VSFTPD配置的服务器路径和linux系统有哪些用户
  • JavaEE: 创造无限连接——网络编程中的套接字
  • 记K8s组件harbor和kuboard故障恢复
  • c++ return {};
  • 【设计模式-适配】
  • 深度学习02-pytorch-08-自动微分模块
  • 使用Python实现深度学习模型:智能宠物监控与管理
  • 【HTTPS】对称加密和非对称加密
  • MySQL中的LIMIT与ORDER BY关键字详解
  • Java 编码系列:集合框架(List、Set、Map 及其常用实现类)
  • Go进阶概览 -【7.2 泛型的使用与实现分析】
  • 罗德岛战记游戏源码(客户端+服务端+数据库+全套源码)游戏大小9.41G
  • AI+教育|拥抱AI智能科技,让课堂更生动高效
  • WebServer