KNN：K 近邻算法

KNN：K 近邻算法

开篇：最直观的机器学习算法

“这个用户会购买吗？看看和他相似的用户的行为就知道了。”

KNN（K-Nearest Neighbors，K 近邻算法）是最简单、最直观的机器学习算法——它的核心思想就是**“近朱者赤，近墨者黑”**：给一个新样本，找它最近的 K 个邻居，看这些邻居属于哪一类，新样本就属于哪一类。

今天我们深入理解 KNN 算法的原理、实现和应用。

一、KNN 算法原理

1.1 核心思想

KNN 是一种懒惰学习（Lazy Learning）算法：

• 训练阶段：只是存储训练数据，不做任何计算
• 预测阶段：对于新样本，找出距离最近的 K 个训练样本，根据这 K 个邻居的标签进行投票或平均

1.2 算法步骤

分类问题：

1. 计算新样本与所有训练样本的距离
2. 选择距离最近的 K 个样本
3. 统计这 K 个样本的类别标签
4. 选择出现次数最多的类别作为预测结果

回归问题：

1. 计算新样本与所有训练样本的距离
2. 选择距离最近的 K 个样本
3. 计算 K 个样