当前位置: 首页 > news >正文

[迁移学习]领域泛化

一、概念

        相较于领域适应领域泛化(Domain generalization)最显著的区别在于训练过程中不能访问测试集。

         领域泛化的损失函数一般可以描述为以下形式:

                \epsilon ^t\leq \sum\pi^*\epsilon^i(h)+\frac{\gamma +\rho }{2}+\lambda_H,(P^t_X,P^*_X)

                该式分为三项:第一项\sum\pi^*\epsilon^i(h)表示各训练集权重的线性组合,其中π为使该项最小的系数;第二项\frac{\gamma +\rho }{2}表示域间距离,其中\gamma表示目标域和源域之间最小的距离、\rho表示源域之间两两组合的最大距离;第三项\lambda_H,(P^t_X,P^*_X)表示理想风险(ideal joint risk),一般情况下可以忽略。

二、分类

        1.数据操作(Data manipulation)

                该方法体现在对数据集的操作,主要分为数据增强(Data augmentation)和数据生成(Data generation)

                 其中数据增强主要的方式是对图像进行尺寸、颜色、亮度、对比度的调整,旋转、添加噪声等操作。可由其增强的方向分为:相关数据增强对抗数据增强

                数据生成主要有3种方式:VAE、GAN(对抗生成)、Mixup(混合增强),主要的目的是增强模型的泛化能力。

        2.学习表征(Representation learning)

                该方法可以表征为:

                        

                         通过对以上式子中各部分的学习来表征域的特征,主要方法有四种

                        ①Kernel-based method:传统方法,主要依赖核投射技巧

                        ②Domain adversarial learing:对抗方法,基于对抗网络进行混淆

                        ③Explicit feature alignment:显式的减少域之间的差异,域对齐

                        ④Invariant risk minimization:范式方法

                        ⑤Feature disentanglement:解耦,提取出相同类别中共同特征

                                 主要分为两种:1.UndoBias:将权重分为两种w_i=w_0+\Delta_i(其中w_0为所有域的公共特征,\Delta_i为每个域私有的特征)

                                                           2.Generative modeling:使用生成网络进行解耦

        3.学习策略(Learning strategy)

                ①Meta-learning(源学习)

                         将源域分解为若干个小任务

                ②Ensemble learning(集成学习)

                         认为目标域是源域的线性组合,表现在实际操作中是各种结果按照一定权重进行组合(类似于投票)

http://www.lryc.cn/news/109684.html

相关文章:

  • 240. 搜索二维矩阵 II
  • 【Linux:线程池】
  • 跨境多商户中日韩英多语言商城搭建(PC+小程序+H5),搭建方案
  • 使用标准库版本编写LED闪烁
  • 【CDC】跨时钟域处理方法总结一
  • 【Linux】创建分区后没有识别到分区盘?
  • W6100-EVB-PICO做DNS Client进行域名解析(四)
  • {Fixed} Android TV国内开机不会自动连接WIFI / 连接国内网络不会更新时间
  • 【ASP.NET MVC】数据到客户端(7)
  • InnoDB有哪些特性
  • 【linux--->数据链路层协议】
  • 如何在pytest接口自动化框架中扩展JSON数据解析功能?
  • 哪些年,我们编程四处找的环境依赖
  • 物联网工程开发实施,应该怎么做?
  • mysql使用SUBSTRING_INDEX拆分字符串,获取省、市、县和详细现住址
  • Kubernetes中的就绪(readinessProbe)和存活(livenessProbe)探针
  • docker端口映射详解(随机端口、指定IP端口、随意ip指定端口、指定ip随机端口)
  • 俄罗斯方块
  • web服务
  • 【Rust 基础篇】Rust类型别名:为类型赋予新的名字
  • 【机器学习】 贝叶斯理论的变分推理
  • Flink之RedisSink
  • STM32CubeMx学习与K210串口通信+识别橘色色块——点亮小灯
  • 睿讯微带你深度了解汽车交流充电桩
  • word怎么压缩到10m以下?文件压缩很简单
  • I.MX6ULL_Linux_驱动篇(43)linux通用LED驱动
  • OPTEE之sonarlint静态代码分析实战二——optee_client
  • c++调用ffmpeg api将视频文件内容进行udp推流
  • 助力工业物联网,工业大数据之服务域:油站主题分析【二十六】
  • MySql之索引