多任务学习：一鱼多吃

📋 Research Summary

多任务学习（Multi-Task Learning, MTL）是一种让单个模型同时学习多个相关任务的学习范式。其核心思想是通过共享表示层，让多个任务互相帮助、共同提升。常见方式包括硬参数共享（共享底层网络）和软参数共享（各任务有独立参数但相互约束）。

🌱 逻辑原点

如果一个模型只能完成一个任务，能否让它"一鱼多吃"，同时完成多个相关任务？

答案是肯定的。多任务学习告诉我们：任务之间是有联系的，学到一个任务的经验，可以帮助学习其他任务。

🧠 苏格拉底式对话

1️⃣ 现状：最原始的解法是什么？

如果不使用多任务学习，每个任务怎么训练？

最朴素的方法是独立训练（Independent Training）：

• 为每个任务训练一个独立的模型
• 每个模型只关注自己的目标
• 任务之间完全隔离，没有任何信息共享

这就像为每种乐器都请一个独立的乐手——每个乐手只精通一种乐器，无法协作，资源浪费。

2️⃣ 瓶颈：规模扩大100倍时会有什么问题？

当需要完成100个任务时，独立训练模型会怎样？

答案是：模型数量爆炸、无法利用任务关联、资源浪费严重。

• 需要训练和维护100个独立模型
• 每个模型都需要大量数据，容易过拟合
• 任务之间可能有共通的知识，但完全无法共享
• 推理时需要加载100个模型，资源消耗巨大

独立训练在多任务场景下成本极高，且忽略了任务间的关联性。

3️⃣ 突破：必须引入什么新维度？

如何让多个任务"互帮互助"，共享知识？

答案：共享表示层。

多任务学习的核心思想：

不是每个任务独立学 -> 而是让任务之间共享知识 不是训练N个模型 -> 而是训练一个能完成多个任务的模型

两种共享方式：

1. 硬参数共享（Hard Sharing）：

   • 底层网络所有任务共享
   • 只有顶层（输出层）任务专用
   • 最常用，结构简单

2. 软参数共享（Soft Sharing）：

   • 每个任务有自己的网络
   • 通过正则化（如 L2）让参数相似
   • 更灵活，但参数量大

📊 视觉骨架

多任务学习：共享底层编码器，每个任务有独立的输出头，通过联合优化让多个任务互相帮助

⚖️ 权衡模型

公式：

多任务学习 = 解决了 知识孤岛问题 + 牺牲了 任务特异性 + 增加了 任务干扰风险

代价分析：

• ✅解决：一个模型完成多个任务，降低存储和推理成本；任务之间互相帮助，提升泛化能力
• ❌牺牲：共享层可能无法充分捕捉每个任务的独特特征
• ⚠️增加：任务之间可能产生负迁移（任务干扰），需要精心设计损失权重

🔁 记忆锚点

# 多任务学习：一鱼多吃defmulti_task_learning():""" 输入: 多个任务的训练数据 输出: 多个任务的预测 """# 硬参数共享shared_encoder=SharedEncoder()# 所有任务共享task1_head=TaskHead1()task2_head=TaskHead2()task3_head=TaskHead3()# 联合优化多个任务loss=task1_loss+task2_loss+task3_loss backpropagate(loss)# 实际例子# - BERT 同时做 MLM + NSP 预训练# - 人脸识别 同时做分类 + 特征提取 + 人脸关键点# - 目标检测 同时做分类 + 定位

一句话本质：多任务学习是"一鱼多吃"——用一个模型同时学习多个任务，通过共享底层表示让任务之间互帮互助，既省资源又能提升效果。