感知机(感知机的局限性)

感知机的局限性

到这里我们已经知道，使用感知机可以实现与门、与非门、或门三种逻
辑电路。现在我们来考虑一下异或门（XOR gate）。

异或门

异或门也被称为逻辑异或电路。如图2-5所示，仅当$x_1 $ 或 $x_2 $ 中的一方为1时，才会输出1（“异或”是拒绝其他的意思）。那么，要用感知机实现这个异或门的话，应该设定什么样的权重参数呢？

实际上，用前面介绍的感知机是无法实现这个异或门的。为什么用感知
机可以实现与门、或门，却无法实现异或门呢？下面我们尝试通过画图来思
考其中的原因。

首先，我们试着将或门的动作形象化。或门的情况下，当权重参数
(b,w1w_1w1​,w2w_2w2​) = (-0.5, 1.0, 1.0)时，可满足图2-4的真值表条件。此时，感知机
可用下面的式(2.3)表示。

y={0(−0.5+x1+x2≤0)1(−0.5+x1+x2>0)(2.3) y = \begin{cases} 0 & (-0.5 + x_1 + x_2 \leq 0) \\ 1 & (-0.5 + x_1 + x_2 > 0) \end{cases} \tag{2.3}y={01​(−0.5+x1​+x2​≤0)(−0.5+x1​+x2​>0)​(2.3)

式(2.3)表示的感知机会生成由直线 ( -0.5 +x1x_1x1​+x2x_2x2​= 0 ) 分隔的两个空间。其中一个空间输出1，另一个空间输出0，如图2-6所示。

中的○和△分开。实际上，刚才的那条直线就将这4 个点正确地分开了。
那么，换成异或门的话会如何呢？能否像或门那样，用一条直线作出分
割图2-7 中的○和△的空间呢？

想要用一条直线将图2-7 中的○和△分开，无论如何都做不到。事实上，
用一条直线是无法将○和△分开的。

线性和非线性

图2-7 中的○和△无法用一条直线分开，但是如果将“直线”这个限制条
件去掉，就可以实现了。比如，我们可以像图2-8 那样，作出分开○和△的空间。

感知机的局限性就在于它只能表示由一条直线分割的空间。图2-8这样弯
曲的曲线无法用感知机表示。另外，由图2-8这样的曲线分割而成的空间称为
非线性空间，由直线分割而成的空间称为线性空间。线性、非线性这两个术
语在机器学习领域很常见，可以将其想象成图2-6和图2-8所示的直线和曲线。