机器学习算法原理与实践-入门（二）：距离计算方式详解
否"相近"，就需要用到就是在上一篇文章中，我们深入学习了KNN算法的基本原理。我们知道KNN的核心思想是"物以类聚"，而要判断两个样本距离计算理解KNN乃至许多其他机器学习算法的基础。就是。本文将系统讲解机器学习中常用的各种距离计算方式，这
一、为什么需要多种距离计算方式？
衡量样本相似度的关键工具。不同的距离度量方式适用于不同的场景和数据类型：就是距离计算
- 数据类型不同：数值型数据、类别型数据、文本信息等需要不同的距离度量
- 应用场景不同：地理坐标计算、文本相似度、图像识别等需要专门的度量方法
- 数据特性不同：高维数据、稀疏数据、分布不均匀的信息对距离计算有不同要求
- 算法需求不同：不同机器学习算法对距离度量的敏感性不同
掌握各种距离计算方式，能够协助我们在实际项目中选择最合适的度量方法，从而提高模型的准确性和效率。
二、常用的距离度量方法
1. 欧氏距离（欧几里得距离）
定义最直观的距离度量方式。就是：计算两点之间的直线距离，
公式：对于n维空间中的两个点A和B：![[ d(A,B) = \sqrt{\sum_{i=1}^{n}(a_i - b_i)^2} ]](https://i-blog.csdnimg.cn/direct/87a7fed711d549289dc03d546dda4979.png)
特点：
- 优点：直观易懂，符合日常生活中的距离概念
- 缺点：对量纲敏感，高维数据中效果会下降
- 适用场景：低维空间的数值型数据
2. 曼哈顿距离（城市街区距离）
定义：计算两点在网格状坐标系中的距离，只能沿着坐标轴方向前进。
公式：![[ d(A,B) = \sum_{i=1}^{n}|a_i - b_i| ]](https://i-blog.csdnimg.cn/direct/5316d5e699064dbcb9f6ec390bf67433.png)
特点：
- 优点：计算速度快，对异常值不敏感
- 缺点：不是实际的最短路径
- 适用场景：特征独立的网格数据
3. 切比雪夫距离
定义：计算两点在各个坐标上的差的最大绝对值。
公式：![[ d(A,B) = \max_{i=1}^{n}|a_i - b_i| ]](https://i-blog.csdnimg.cn/direct/3b74c92a818b472abf9749e8b4b3876f.png)
特点：
- 优点：计算简便，对单一维度最大变化敏感
- 缺点：忽略了其他维度的信息
- 适用场景：棋盘类游戏AI、图像处理
4. 余弦相似度
定义距离。就是：衡量两个向量的方向相似性，而不
公式：![[ \text{similarity}(A,B) = \frac{A \cdot B}{|A| |B|} ]](https://i-blog.csdnimg.cn/direct/6d5fed41ac524e3884cc1afec756f9b5.png)
特点：
- 优点：不受向量长度影响，只关注方向
- 缺点：完全忽略了向量的幅度信息
- 适用场景：文本相似度计算、推荐系统
5. 汉明距离
定义：比较两个等长字符串在相同位置上不同字符的数量。
公式：![[ d(A,B) = \sum_{i=1}^{n} \mathbb{I}(a_i \neq b_i) ]](https://i-blog.csdnimg.cn/direct/8575d3b76912499f91323c199d4a7172.png)
特点：
- 优点：计算简单高效，对二进制数据专门有用
- 缺点：要求比较对象长度相等
- 适用场景：错误检测与纠正编码、DNA序列比对
6. 闵可夫斯基距离
定义：距离度量的通用形式，通过参数p的变化能够表示多种距离度量。
公式：![[ d(A,B) = \left(\sum_{i=1}^{n}|a_i - b_i|p\right){\frac{1}{p}} ]](https://i-blog.csdnimg.cn/direct/9f3d7f59c1814b489f9e89ad7d8b5c32.png)
特殊情形：
- p=1：曼哈顿距离
- p=2：欧氏距离
- p→∞：切比雪夫距离
特点：
- 优点：给出了距离度量的统一框架
- 缺点：p值的选择需要经验或调优
- 适用场景：需要灵活距离度量的场景
7. Jaccard指数（杰卡德相似系数）
定义：衡量两个集合的相似度，计算交集大小与并集大小的比值。
公式：![[ J(A,B) = \frac{|A \cap B|}{|A \cup B|} ]](https://i-blog.csdnimg.cn/direct/b5a92ccd69324da2aab02bdcbe9f8ce9.png)
特点：
- 优点：直观反映了集合的重叠程度，对集合大小不敏感
- 缺点：对大型数据集可能产生偏差
- 适用场景：文档相似度、购物篮分析
8. 半正矢距离
定义：专门用于计算地球表面两点之间的距离，考虑了地球的曲率。
公式：![[ d = 2R \arcsin\left(\sqrt{\sin^2\left(\frac{\phi_2 - \phi_1}{2}\right) + \cos(\phi_1)\cos(\phi_2)\sin^2\left(\frac{\lambda_2 - \lambda_1}{2}\right)}\right) ]](https://i-blog.csdnimg.cn/direct/431e59f350e449bab808a1a72fcd0c58.png)
特点：
- 优点：准确计算地球表面距离，考虑了地球曲率
- 缺点：计算相对复杂，仅适用于地理坐标数据
- 适用场景：地理信息系统、位置服务应用
三、距离度量的选择原则
在实际应用中，选择哪种距离度量需要考虑以下因素：
1. 数据类型
- 数值型数据：欧氏距离、曼哈顿距离
- 二元数据：汉明距离、Jaccard指数
- 文本数据：余弦相似度
- 地理位置数据：半正矢距离
2. 数据特性
- 高维数据：余弦相似度效果更好
- 稀疏数据：余弦相似度、Jaccard指数
- 分布不均匀的数据：需要先进行标准化处理
3. 应用需求
- 需要直观解释：欧氏距离、曼哈顿距离
- 关注方向相似性：余弦相似度
- 需要鲁棒性：曼哈顿距离对异常值更鲁棒
4. 计算效率
- 大规模数据：选择计算简单的距离
- 实时应用：曼哈顿距离、汉明距离
实践建议
- 从简单开始：先尝试欧氏距离，作为基线
- 根据数据特性调整：如果效果不佳，尝试其他更适合的度量
- 实验验证：通过交叉验证比较不同距离度量的效果
- 领域知识指导：考虑具体应用领域的惯例和需求
下一篇预告
在掌握了KNN算法的基本原理和各种距离计算方式后，我们将在下一篇文章中深入讲解：
机器学习算法原理与实践-入门（三）：使用数学方法实现KNN
大家将从数学原理出发，不启用现成的机器学习库，从头开始实现KNN算法的每个步骤，让你真正理解算法的内部工作原理。