对比学习综述

1.简介

2.相关工作

2.1、Inst Disc

代理任务：个体判别。把每一个图片看作是一种类别，把每一个图片都区分开来。
正负样本选择：正样本是图片本身，负样本是数据集里的其他图片，该文章从memory bank中随机抽取4096个负样本出来进行训练。
损失函数：NCEloss

2.2、InvaSpread

代理任务：个体判别。
正负样本选择：假如输入的batchsize为256，那么每个图片经过数据增强后会产生256个新图片。每个原图的正样本为原图数据增强后的图片，负样本为（256-1）*2，也就是除了这两张后剩余的图片。
损失函数：NCEloss变体。

2.3、CPC

代理任务：预测型任务