对比学习：【SimCLR】

🚩 对比学习最经典的框架：SimCLR笔记它来咯！
主要包括：数据增强+编码+投影头+对比损失

1. 一句话概括

SimCLR是一种基于对比学习的自监督框架：对每张图像生成两种强增强视图作为正样本对，使用ResNet编码并通过MLP投影头得到对比空间表示，在 batch 内把其他样本当作负样本，用带温度系数的NT-Xent损失拉近正对、拉远负对，从而学习可迁移的视觉表征。

2. 简介

2.1 模型定位

• 图像分类、目标检测、语义分割的预训练模型

2.2 历史意义

SimCLR（Simple Contrastive Learning of visual Representations），它是自监督学习（Self-Supervised Learning, SSL）在计算机视觉领域的重要里程碑之一，由 Google Research 在 2020 年提出。

利用对比学习，实现自监督学习模型的性能超越了有监督学习模型的性能。

• 论文《A Simple Framework for Contrastive Learning of Visual Representations》
• 代码仓库：https://github.com/google-research/simclr

2.3 核心思想

让同一张图像的不同增强视图在特征空间中彼此靠近，同时让不同图像的增强视图彼此远离。（对比学习）

换句话说，模型要学会“识别”哪些特征属于同一图像的不同视角，从而学到对图像变换鲁棒的通用特征。

3. 方法

3.1 数据增强（Data Augmentation）

• 对同一张原始图像 x随机采样两种不同的增强方式，得到两个视图x i x_ixi​和x j x_jxj​（正样本对）
• 数据增强方式组合包括：
  • 随机裁剪缩放
  • 颜色扰动
  • 随机灰度
  • 高斯模糊
  • 水平翻转
• 目的：制造视觉上不同但语义相同的样本，迫使模型关注语义而非表面特征。
• 前两种数据增强方法对效果提升很重要。

importtorchvision.transformsasT# SimCLR 常用的数据增强组合（适用于 ImageNet 风格输入）simclr_train_transform=T.Compose([T.RandomResizedCrop(size=224,scale=(0.08,1.0)),# 随机裁剪缩放T.RandomApply([# 颜色扰动（按概率应用）T.ColorJitter(brightness=0.4,contrast=0.4,saturation=0.4,hue=0.1)],p=0.8),T.RandomGrayscale(p=0.2),# 随机灰度T.GaussianBlur(kernel_size=23,sigma=(0.1,2.0)),# 高斯模糊（kernel_size 建议为奇数，随分辨率调整）T.RandomHorizontalFlip(p=0.5),# 水平翻转T.ToTensor(),# 转成 PyTorch TensorT.Normalize(mean=(0.485,0.456,0.406),std=(0.229,0.224,0.225))# 对每个通道做标准化（这组数来自 ImageNet 的统计）])

3.2 编码网络（Encoder Network）

• 使用一个卷积神经网络（ResNet）将增强图像x i x_ixi​和x j x_jxj​编码为特征向量。

3.3 投影头（Projection Head）

• 小型非线性网络，通常是MLP
  

• 投影头的输出z zz才是对比学习任务的直接输入，训练完成后可丢弃，只用编码器f ( . ) f(.)f(.)提取的特征做下游任务。

3.4 对比损失（Contrastive Loss）

使用 Normalized Temperature-scaled Cross Entropy Loss（NT-Xent）​ 计算损失：

其中，τ：温度参数（temperature），控制分布的平滑程度。

NT-Xent 损失本质是 InfoNCE 的一种写法

损失的演变过程

• NCE：原本是一种用于估计概率模型中配分函数（partition function）的方法，通过将密度估计问题转化为二分类问题（区分真实数据与噪声数据）。
• InfoNCE：在 NCE 的基础上，用于最大化输入与表征之间的互信息的下界，在对比学习中，它表现为“让正样本对的相似度高于负样本对”。
• NT-Xent：一种写法上的转变