当前位置: 首页 > news >正文

SeeSR: Towards Semantics-Aware Real-World Image Super-Resolution

  • CVPR2024 香港理工大学&OPPO&bytedance
  • https://github.com/cswry/SeeSR?tab=readme-ov-file#-license
  • https://arxiv.org/pdf/2311.16518#page=5.80
  1. 问题引入
  • 因为有些LR退化情况比较严重,所以超分之后的结果会出现语义的不一致的情况,所以本文训练了degradationaware prompt extractor来提取soft and hard semantic prompts辅助超分模型;
  • 在inference的过程中LR也参与了;
  1. methods
    在这里插入图片描述
  • 分为两个阶段,第一个阶段训练DAPE来从LR中提取对应的语义特征,包含soft(feature和hard(tag两个级别,训练的目标是使HR和LR对应的输出尽可能相似;第二个阶段是使用得到的语义信息来进行超分任务;
  • 对应HR-LR数据对 x , y x,y x,y,其中 y y y是对 x x x进行degradation得到的,之后分别输入到DAPE模型中得到 f x r e p , f x l o g i t s , f y r e p , f y l o g i t s f_x^{rep},f_x^{logits},f_y^{rep},f_y^{logits} fxrep,fxlogits,fyrep,fylogits,DAPE模型是从tag预训练模型初始化而来,最后的损失是 L D A P E = L r ( f y r e f , f x r e p ) + λ L l ( f y l o g i t s , f x l o g i t s ) L_{DAPE}=L_r(f_y^{ref},f_x^{rep}) + \lambda L_l(f_y^{logits},f_x^{logits}) LDAPE=Lr(fyref,fxrep)+λLl(fylogits,fxlogits) L r L_r Lr是MSE损失, L l L_l Ll是cross entropy损失,两部分损失中logits部分损失受到模型thresh值设定的影响,所以使用representation部分进行补充;
  • 超分网络在原始SD模型的基础上新增了representation和image作为条件,分别对应representation cross attention模块和controlnet模块,其中representation cross attention添加到text cross attn模块后面;
  • LR Embedding in Inference:推理的时候往常是随机初始化的噪声,但是本文是对LR添加噪声来进行噪声初始化;
  1. 实验
    在这里插入图片描述
http://www.lryc.cn/news/388571.html

相关文章:

  • 七月论文审稿GPT第5版:拿我司七月的早期paper-7方面review数据集微调LLama 3
  • 盘古5.0,靠什么去解最难的题?
  • 2.3章节Python中的数值类型
  • 每日Attention学习7——Frequency-Perception Module
  • 【从0实现React18】 (五) 初探react mount流程 完成核心递归流程
  • 0-30 VDC 稳压电源,电流控制 0.002-3 A
  • HTML5+CSS3+JS小实例:图片九宫格
  • 湘潭大学软件工程数据库总结
  • Codeforces Testing Round 1 B. Right Triangles 题解 组合数学
  • 怎样将word默认Microsoft Office,而不是WPS
  • C语言之进程的学习2
  • web使用cordova打包Andriod
  • 内卷情况下,工程师也应该了解的项目管理
  • 【解锁未来:深入了解机器学习的核心技术与实际应用】
  • 1-3.文本数据建模流程范例
  • 【FFmpeg】avformat_alloc_output_context2函数
  • Flask 缓存和信号
  • 基于weixin小程序农场驿站系统的设计
  • JAVA将List转成Tree树形结构数据和深度优先遍历
  • 设计模式——开闭、单一职责及里氏替换原则
  • 代码随想录算法训练营第59天:动态[1]
  • jvm性能监控常用工具
  • ISP IC/FPGA设计-第一部分-SC130GS摄像头分析-IIC通信(1)
  • HTTP协议头中X-Forwarded-For是能做什么?
  • Linux高并发服务器开发(八)Socket和TCP
  • 力扣第220题“存在重复元素 III”
  • Qt实战项目——贪吃蛇
  • Windows 10,11 Server 2022 Install Docker-Desktop
  • C++中的RAII(资源获取即初始化)原则
  • 【机器学习】Whisper:开源语音转文本(speech-to-text)大模型实战