6、模式分类与特征提取技术详解

模式分类与特征提取技术详解

1. 多类分类方法

在模式识别中，多类分类问题是一个重要的研究领域，下面将介绍几种常见的多类分类方法。

1.1 一对一（One Versus One）方法

一对一方法会考虑数据集中所有无序的类别对，并为每一对类别训练一个单独的二元分类器。对于一个输入 $x$，通过计算每个二元分类器产生的投票的多数来进行分类。例如，在一个四分类问题中，需要训练 $C_{4}^2 = 6$ 个分类器。

然而，这种方法存在一个问题。假设对于一个未见过的样本，6 个分类器对类别 0、1、2 和 3 的投票分别为 1、1、2 和 2，此时类别 2 和类别 3 获得的票数相同，导致无法对该样本进行分类。虽然可以考虑二元分类器产生的分类分数（即 $wx^T$）来解决这个问题，但在类别较多的应用中，这种方法的计算复杂度会很高，不太实用。

1.2 一对其余（One Versus Rest，OVR）方法

一对其余方法也称为一对所有或一抗所有方法。与一对一方法不同，对于一个 $N$ 类分类问题，一对其余方法只训练 $N$ 个二元分类器来进行预测。

该方法为每个类别 $a$ 创建一个二元数据集 $X_{a|rest}$，其定义如下：
[X_{a|rest} = {(x_i, 1)|x_i \in X \land y_i = a} \cup {(x_i, -1)|x_i \in X \land y_i \neq a}]
具体来说，就是将所有标签为 $a$ 的样本的标签改为 1 后加入 $X_{a|rest}$，将其余样本的标签改为 -1 后也加入 $X_{a|rest}$。对于 $N$