迁移学习还没整理好

参考文献：

1. (60 封私信 / 30 条消息) 对比学习（Contrastive Learning）概述 - 知乎

2.(60 封私信 / 30 条消息) 自监督学习和无监督 - 知乎

3.(60 封私信 / 30 条消息) 多模态视觉理解代理任务总结 - 知乎

4. 一文读懂迁移学习：从理论到实践-CSDN博客

5.(60 封私信 / 30 条消息) Transfer learning 【迁移学习综述_汇总】 - 知乎

协变量偏移（Covariate Shift）、标签偏移（Label Shift）和概念偏移（Concept Drift）等会造成数据分布差异，数据分布偏移会导致模型性能衰竭，造成模型泛化能力不足。因此我们可以引入领域自适应与迁移学习以提升模型的泛化能力。

迁移学习：通过复用预训练模型的知识，加速新任务的学习过程。其有效性源于两个基本假设：低层特征的可迁移性和任务相关性的存在。

领域自适应：通过调整模型参数或特征表示，使源域（Source Domain）训练的模型能够适应目标域（Target Domain）的数据分布。其核心思想在于构建领域不变性特征（Domain-Invariant Features），使模型在特征空间中忽略领域特异性信息。（是迁移学习中的一个重要分支）

一、迁移学习

（1）迁移理论三大基础学说：

（2）根据源领域和目标领域的不同，迁移学习可以分为以下几种类型：

（3）参考 A Survey on Deep Transfer Learning 迁移学习可以分为四类，分别是基于实例 、基于映射 、基于网络 、基于对抗四种。

这也是 A Survey on Deep Transfer Learning 提出的图

二、领域自适应（还没整理好.jpg）

自监督学习为迁移学习提供高质量的基础模型。

三、自监督学习

解释：

（1） 定义：通过最大化相关样本之间的相似性并最小化不相关样本之间的相似性来学习数据表示。如图中使正向增强与原始图像相似性最大化，原始图像与不相干图像相似性最小化。

（2）对比学习常用框架：

参考(60 封私信 / 30 条消息) 对比学习（Contrastive Learning）概述 - 知乎

• 如果是生成式对比学习，则使用MSE（出自BYOL）来作为损失函数：
• 如果是判别式对比学习，则使用InfoNCE（出自CPC）来作为损失函数：
• 损失函数:
• encoder常用框架：SimSiam（集成了SimCLR、MoCo、BYOL、SwAV）
• 常见实例：自监督学习任务包括图像旋转预测、图像拼图、对比学习、掩码语言模型（如 BERT）等。
• 对比学习：（经典）
• 代理任务（Proxy Tasks）：利用无标注数据，通过构造合理的任务驱动模型学习，提升其在下游任务的表现。
• 隐式监督信号：从数据本身的结构、属性或变换中自动推导出的监督信号，而不是由人工标注提供的显式标签。
• 自监督学习定义：利用未标记数据来训练模型，是无监督学习的一种，被广泛运用于模型的预训练。
• 自监督学习VS无监督学习：（important）我最开始一直认为这俩是等价的，但是后面发现两者还是有区别的。自监督学习属于无监督学习，但通过构造代理任务，使其更接近监督学习的范式（有明确的输入-伪标签对），通过隐式监督信号提升模型的特征提取能力。弥补了传统无监督学习（如聚类）在表示学习上的不足。
• 领域自适应方法：
• 基于对抗：在生成对抗性网络(GAN)的启发下，引入对抗性技术，寻找既适用于源域又适用于目标域的可迁移表达。它基于这样的假设:“为了有效的迁移，良好的表征应该是对主要学习任务的区别性，以及对源域和目标域的不加区分。”
• 基于网络：将原领域中预先训练好的部分网络，包括其网络结构和连接参数，重新利用，将其转化为用于目标领域的深度神经网络的一部分。
• 基于映射：Target Domain 和 Source Domain 具有不同的分布，基于映射的迁移学习是将实例从源域和目标域映射到新的数据空间。
• 基于实例：在source domain中的数据挑挑拣拣，选择符合Target domain约束空间的数据，让这些挑出来的数据和target domain中数据一块训练。
• 同构迁移学习：源领域和目标领域的数据具有相同的特征空间和数据分布，但任务不同。例如，从识别手写数字 0 - 9 的任务迁移到识别字母 A - Z 的任务。
• 异构迁移学习：源领域和目标领域的数据具有不同的特征空间或数据分布。比如，将从图像领域学习到的知识迁移到文本领域。
• 跨任务迁移学习：源领域和目标领域的任务类型不同，如从图像分类任务迁移到图像分割任务。
• 形式训练说——模型训练 e.g:预训练模型
• 相同要素说——数据基础 e.g：基于参数共享、基于特征共享
• 概括化理论说——概念学习
• 迁移学习定义：从一个任务（源领域）学到的知识（模型参数、特征表示等），应用到另一个不同但相关的任务（目标领域）上。
• 迁移学习分类：