机器学习的一些核心概念

一、 核心基础概念

1. 什么是机器学习？

定义：计算机从数据中自动学习规律，而不是通过硬编码规则，从而实现预测或决策的技术。

核心目标：让模型学会“举一反三”，在未知数据上也能做出准确判断。

2. 学习任务的两大分类

有监督学习(Supervised Learning)：

特点：数据自带标签（Label）。

例子：已知房价数据预测价格、已知图片类别分类猫/狗。

任务：分类（Classification）、回归（Regression）。

（回归是指我们试图从无限多个可能的数字中预测任何一个数字）

无监督学习(Unsupervised Learning)

特点：数据无标签，让模型自己找结构。

例子：把用户自动分组、把新闻自动聚类。

任务：聚类（Clustering）、降维（Dimensionality Reduction）。

（聚类是将未标记的数据放入不同的簇中。而降维是将大数据压缩为小得多的数据集，同时尽可能少地丢失信息。）

二、 数据集划分

在开始任何项目前，必须先把数据拆包，这是保证模型有效的基础：

1. 训练集 (Training Set)

用途：用来学习特征和参数。

2. 验证集 (Validation Set)

用途：用来调参、防止过拟合，选择最优模型。

3. 测试集 (Test Set)

用途：只使用一次！用来评估模型最终的泛化能力。

三、 模型评估与泛化能力

1. 泛化能力 (Generalization)

模型在新的、看不见的数据上表现的能力。（准确 稳定）这是机器学习追求的终极目标。

2. 过拟合与欠拟合（状态）

从 现象描述 原因 解决思路来看

欠拟合训练集和测试集效果都差

模型太简单，没学到精髓

增加模型复杂度（加层数）、延长训练时间

释（在深度学习里，加层数、加神经元、加参数，都叫增加模型复杂度。

层数越多，模型拟合能力越强，能记住越精细、越复杂的模式。）

（层数：LeNet-5 只有几层卷积
​ ResNet 有几十、上百层
每多一层，模型就多一步特征提取：
第一层：看边缘、线条
中间层：看形状、纹理
深层：看整体结构、语义
层数越多 → 能学到更高级、更抽象的特征）

复杂度和泛化能力的关系
模型太简单：学不会规律 → 欠拟合，泛化差
​模型适中：学得刚好 → 泛化最好
​模型太复杂：把噪声、细节都记住了 → 过拟合，泛化变差

过拟合

训练集效果极好，测试集效果差

模型太复杂，死记训练数据

增加数据量、正则化（Dropout）、降低模型复杂度

（正则化的意思：训练时，随机“关掉”一部分神经元（让它输出为0）（是故意的，让它不要太依赖某几个神经元）。这就逼得模型不能只靠一个路径走天下，而是要培养多条稳健的特征提取路径。）

四、 模型评价标准（学的咋样）

以分类任务为例，最基础的两个指标：

1. 查准率 (Precision /精确率)

含义：预测为正的样本里，真的是正样本的比例。模型说它是苹果 → 有多少真的是苹果

2.查全率 (Recall /召回率)

含义：所有真的正样本，都被找出来的比例。

所有真实苹果 → 模型找出了多少

注：通常还会结合 F1 值、ROC-AUC 等指标综合评估。

解释

1.）F1 值是精确率和召回率的综合得分

范围：0 ~ 1
​越接近 1 → 模型越准、越全
​越接近 0 → 模型越垃圾

那在什么时候看 F1？
类别不平衡（比如苹果1000张，玉米10张）
你既不想误判，也不想漏判
→ 看 F1 最公平

2.） ROC-AUC：模型区分正负样本的能力有多强

给模型一堆“苹果”和“不是苹果”的图，模型会给每个图打个置信度分数（0~1）
（置信度 是 模型有多“确信”这张图是某一类）
ROC 曲线就是：
横轴：假阳性（把不是苹果认成苹果）
​ 纵轴：真阳性（把真苹果认出来）

AUC 就是这条曲线下的面积
AUC = 1：完美区分
​AUC = 0.5：跟瞎猜一样
​AUC 越高，模型区分能力越强

什么时候看 AUC？ 你关心整体排序能力
不关心具体阈值，只想知道模型整体靠谱程度

五.评估的方法（怎么切分数据集的方法）

留出法：切一次，训一次，测一次

比如一共 1000 张果蔬图，随机抽 80% 当训练集，剩下 20% 当测试集
​优点：简单、快

缺点：切的不好结果就不准
交叉验证：切多份，轮流测，取平均

最常见：K 折交叉验证（K-Fold）

比如 K=5：

1. 把数据平均切成 5 份 A、B、C、D、E

2. 第1轮：A当测试集，BCDE训练

3. 第2轮：B当测试集，ACDE训练

4. 第3轮：C当测试集，ABDE训练

5. 第4轮：D当测试集，ABCE训练

6. 第5轮：E当测试集，ABCD训练

优点：结果稳定、靠谱，不受单次划分影响

缺点：慢，要训练 K 次模型

六、 常用经典算法

1. 线性模型

代表：线性回归、逻辑回归。

用途：最简单、最基础的基线模型。

2. 决策树与集成学习

代表：决策树、随机森林、GBDT。

用途：工业界常用，效果好且稳定。

3. 支持向量机 (SVM)

用途：在小样本、高维数据（如文本分类）中表现出色。

4. 聚类算法

代表：K-Means。

用途：无监督学习的代表，自动数据分组。

5. 神经网络

地位：深度学习的基石，也是后续做 CV（图像）的核心。