从零构建机器学习知识体系：监督/无监督/半监督/强化学习4大分支核心算法图谱
从零构建机器学习知识体系：监督/无监督/半监督/强化学习4大分支核心算法图谱
引言：为什么需要系统化的机器学习知识框架？
第一次接触机器学习时，很多人会被各种算法名词淹没——SVM、K-Means、Q-Learning...这些看似孤立的算法概念，实际上存在着深刻的内在联系。就像建造房屋需要蓝图一样，掌握机器学习也需要一张清晰的"算法地图"。
本文将采用知识图谱的视角，为你揭示四大学习范式（监督学习、无监督学习、半监督学习、强化学习）之间的逻辑脉络。不同于简单的算法罗列，我们会重点分析：
- 每种学习范式的核心思维模式（如监督学习的"教师指导" vs 强化学习的"试错探索"）
- 典型算法之间的演化关系（如从线性回归到神经网络的进阶路径）
- 跨范式之间的协同效应（如半监督学习如何结合监督与无监督的优势）
通过这种结构化认知，你将获得：
- 快速定位能力：面对新问题时能迅速判断适用算法类型
- 组合创新能力：理解不同范式间的组合可能性
- 持续学习框架：新算法出现时能自动归类到知识体系中
1. 监督学习：从"标准答案"中学习
1.1 核心范式与数学本质
监督学习的核心是输入-输出映射，用数学语言描述就是寻找函数：
f: X → Y其中X是特征空间，Y是标签空间。这个过程依赖于风险最小化原则：
# 以线性回归为例的损失函数 def MSE_loss(y_true, y_pred): return np.mean((y_true - y_pred)**2)关键区别在于任务类型：
- 分类任务：Y是离散集合（如{0,1}）
- 回归任务：Y是连续空间（如ℝ）
1.2 算法演进图谱
监督学习算法的发展呈现清晰的层次结构：
基础线性模型 ├── 线性回归 ├── 逻辑回归 │ ├── 非线性扩展 │ ├── 多项式回归 │ └── 核方法(SVM) │ └── 复杂结构学习 ├── 决策树 │ ├── 随机森林 │ └── GBDT └── 神经网络 ├── CNN ├── RNN └── Transformer技术拐点：从线性到非线性的跨越中，核技巧与激活函数分别成为传统方法和深度学习的核心突破点
1.3 经典算法对比
| 算法 | 适用任务 | 核心思想 | 优势 | 局限 |
|---|---|---|---|---|
| SVM | 分类 | 最大化间隔超平面 | 小样本效果好 | 内存消耗大 |
| 随机森林 | 分类/回归 | 决策树集成 | 抗过拟合 | 解释性差 |
| 神经网络 | 通用 | 层次特征提取 | 表征能力强 | 需要大数据 |
2. 无监督学习：发现数据的内在语言
2.1 核心范式与数学表达
无监督学习致力于发现**数据分布P(X)**的内在结构，典型目标包括：
聚类：argmin{Σd(x_i, μ_k)} # 最小化类内距离 降维：z = g(x) where dim(z) << dim(x)2.2 算法家族树
距离驱动型 ├── K-Means ├── DBSCAN │ 概率模型型 ├── GMM ├── LDA │ 流形学习 ├── t-SNE └── UMAP关键突破：从欧式距离（K-Means）到概率建模（GMM）再到流形假设（t-SNE）的认知升级
2.3 可视化实践
# 使用UMAP进行高维数据可视化 import umap reducer = umap.UMAP(n_components=2) embedding = reducer.fit_transform(X) plt.scatter(embedding[:,0], embedding[:,1], c=labels)3. 半监督学习：有限标注下的智慧
3.1 核心思想
巧妙利用数据分布假设：
- 平滑假设：相近样本具有相同标签
- 聚类假设：相同聚类中的样本共享标签
- 流形假设：高维数据存在于低维流形
3.2 技术路线图
自训练(Self-training) ├── 初始模型训练 ├── 伪标签生成 └── 迭代优化 图方法 ├── 标签传播 └── 图卷积网络 深度半监督 ├── Π-model └── Mean Teacher实践建议：当标注成本超过算法开发成本时，半监督学习价值开始显现
4. 强化学习：在试错中成长
4.1 马尔可夫决策过程框架
(S, A, P, R, γ) # 状态、动作、转移概率、奖励、折扣因子4.2 算法进化史
传统RL ├── 动态规划 │ ├── 值迭代 │ └── 策略迭代 │ 现代RL ├── DQN ├── PPO └── SAC4.3 关键公式对比
| 算法 | 更新规则 | 特点 |
|---|---|---|
| Q-Learning | Q(s,a) ← Q(s,a)+α[r+γmaxQ(s',a')-Q(s,a)] | 离策略 |
| SARSA | Q(s,a) ← Q(s,a)+α[r+γQ(s',a')-Q(s,a)] | 同策略 |
5. 跨范式协同创新
5.1 组合创新案例
- 自监督学习：无监督预训练+监督微调
- 逆强化学习：从观察中推断奖励函数
- 模仿学习：结合示范数据与强化学习
5.2 技术融合趋势
监督学习 → 提供基准奖励 无监督学习 → 状态表征学习 强化学习 → 策略优化实践指南：如何构建个人知识体系
- 建立算法卡片：为每个核心算法记录：
- 数学形式
- 适用场景
- 实现示例
- 绘制关联图谱：使用思维导图工具展示算法关系
- 构建测试案例库：用相同数据集测试不同算法
最终目标不是记住所有算法，而是培养"算法选择直觉"——看到问题特征时能自然联想到相关算法家族