机器学习与模式识别 第一章 机器学习导论 考点压缩
第一章：Introduction to Machine Learning — 知识点笔记
综合来源：Lecture 01 PDF（51页）、课堂笔记（CSDN）
1.1 课程信息
占位用
1.2 课程目标
- 掌握核心ML概念和算法的数学基础
- 能用Python/PyTorch实现、训练和调试标准模型
- 能设计合理的评估方案，确保结果可复现
- 为高级课程和研究做准备
涵盖：模型设计、SGD、最大似然、损失函数、监督/无监督学习、分类/回归、正则化与偏差-方差权衡、降维、聚类与密度估计、实验设计
1.3 什么是机器学习 ⭐
定义
Software systems thatimprove (learn) through data.
基本配方：
- 用**数据（examples）**来训练（fit）一个模型
- 用模型来做决策（decisions）
AI vs ML vs DL vs Agent
| 术语 | 关系 | 营销时间线 |
|---|---|---|
| AI（人工智能） | 是目标 | — |
| ML（机器学习） | 是方法 | 2015-2020称为Deep Learning |
| DL（深度学习） | ML的子集 | 2020-2024称为AI |
| Agent（智能体） | 最新热点 | 2024-现在 |
AI is the Goal. ML is the Method.
你已经做过ML
- 线性回归= 机器学习！
- 训练（Training）：用数据教模型
- 推理（Inference）：用模型做预测
1.4 三类问题 ⭐
| 问题类型 | 定义 | 解决方式 |
|---|---|---|
| 工程问题（Engineering） | 可以用直接的、可指定的算法或规则解决 | 写代码/规则 |
| ML问题 | 容易演示/评估解决方案但难以直接实现 | 从数据中学习 |
| 人类问题（Human） | 无法精确定义，需要人类判断 | 工程+ML+人类 |
ML问题的定义
A problem for which it iseasy to demonstrateor evaluate the solution butdifficult to directly implement.
例子：
- 判断短信是否为垃圾邮件 → Spam难以定义（因人而异），但容易展示例子
- ChatGPT对话 → 难以编程实现，但可以展示好的对话 + 可以评判对话质量
1.5 机器学习 = 学习函数近似 ⭐
h:X→Y(Input → Output)h: X \rightarrow Y \quad \text{(Input → Output)}h:X→Y(Input → Output)
ML的过程 = 从数据中"学习"模型参数www
三种学习范式
| 范式 | 输入 | 目标 |
|---|---|---|
| 监督学习（Supervised） | {(X, Y)} 观测对 | 学习输入到输出的映射关系 |
| 无监督学习（Unsupervised） | {X} 仅有数据 | 发现数据内在模式 |
| 强化学习（RL） | X, reward(·) | 从奖励信号中学习策略 |
监督学习两大任务
| 任务 | 输出类型 | 例子 |
|---|---|---|
| 分类（Classification） | 离散标签 | 图像标签{Hot Dog, …} |
| 回归（Regression） | 连续值 | 股票预测、下一词预测 |
无监督学习两大任务
| 任务 | 说明 | 例子 |
|---|---|---|
| 聚类与密度估计 | 发现数据中的自然分组 | 图像压缩的近似表示 |
| 降维 | 将高维数据映射到低维 | 可视化、作为其他ML任务的预处理 |
1.6 ML历史发展
| 时期 | 阶段 | 关键事件 |
|---|---|---|
| 1950s-60s | 早期 | 自学习跳棋程序(1959)、感知机(1957) |
| 1970s-80s | 挑战与进步 | 决策树、RL基础、NN再发现 |
| 1990s | 统计ML兴起 | 概率模型、统计学习，强调数学基础 |
| 2000s | 大数据时代 | 数据集增长+计算变便宜→数据挖掘与数据科学 |
| 2010s | 深度学习革命 | 深度学习(2012)、生成模型 |
| 现在 | GenAI时代 | 大语言/多模态模型（LLM/LMM） |
教材演变
1996（概率+线代）→ 2006（ML综合）→ 2013-2022（深度学习：NN+Prob+Lin Alg）→ 2023（Modern ML）
1.7 ML生命周期（Lifecycle）⭐
L → P → M → O → P| 阶段 | 英文 | 核心问题 |
|---|---|---|
| L | Learning Problem（定义问题） | 预测什么？用什么数据？如何评判成功？ |
| M | Model Design（模型设计） | 选什么模型族/架构？特征工程？归纳偏置？ |
| O | Optimization（优化） | 定义损失函数？选优化方法（GD等）？正则化？ |
| P | Predict & Evaluate（预测与评估） | 基于评估指标测试模型性能 |
各阶段详解
L - Learning Problem：
- Target：我想预测什么？（ML任务类型）
- Objective：如何评估成功？（用什么损失函数）
- Data：有什么数据？数据表示？训练/测试划分？
M - Model Design：
- Feature Engineering（特征工程）：选择特征、编码特征
- Model family/Architecture（模型族）：选择假设空间
- Hypothesis space（假设空间）
- Inductive biases / Assumptions（归纳偏置）
O - Optimization：
- Define a loss（定义损失）
- Choose optimization method（选优化方法：GD/SGD/Adam等）
- Manage regularization & overfitting（正则化+防过拟合）
P - Predict & Evaluate：
- 基于evaluation metrics评估预测结果
1.8 归纳偏置（Inductive Bias）⭐
定义
学习算法在面对有限训练数据时，为了能对未见过的输入做出合理预测而引入的一组先验假设或偏好。
核心理解
- 给定有限训练样本→存在无限多个函数能完美拟合→但泛化性能不同
- 归纳偏置从无限可能中**"挑选"出更合理的解→实现泛化**
归纳偏置的来源
| 来源 | 例子 |
|---|---|
| 模型结构 | 选线性模型→假设数据线性可分 |
| 特征工程 | 用词袋模型→假设词序无关 |
| 正则化 | L2正则→偏好小权重 |
| 架构设计 | CNN→平移不变性 |
选择不同的分割线/拟合线 = 决定使用什么样的归纳偏置！
Featurization时也会引入归纳偏置（如词袋=词序无关+词义独立）
1.9 课程工具链
| 工具 | 用途 |
|---|---|
| pandas | 数据操作与分析 |
| Plotly / Matplotlib | 数据可视化 |
| Scikit-learn | 经典ML任务（分类/回归/聚类） |
| PyTorch + HuggingFace | 神经网络开发与NLP模型 |
| Weights & Biases (W&B) | 实验管理与追踪 |
1.10 先修要求
- 编程：Python（函数、类、调试）
- 概率统计：条件概率、贝叶斯规则、期望；均匀/伯努利/高斯分布
- 线性代数与微积分：特征值与特征向量；计算梯度、链式法则
笔记中的图片索引
| 序号 | 图片内容描述 | 来源位置 |
|---|---|---|
| 图1 | 课程封面与教师信息 | Lecture 01 第1-5页 |
| 图2 | 课程内容全景图 | Lecture 01 第12页 |
| 图3 | ML基本流程：Training→Inference | Lecture 01 第18-20页 |
| 图4 | 三类学习范式（监督/无监督/强化） | Lecture 01 第26页 |
| 图5 | ML历史发展时间线 | Lecture 01 第31-33页 |
| 图6 | ML生命周期（L-P-M-O-P）循环图 | Lecture 01 第38-42页 |
| 图7 | 课程评估与先修要求 | Lecture 01 第48-50页 |
笔记整理时间：2026年6月27日