精心构造的输入样本能让机器学习模型产生错误判断，这些样本与正常数据的差异微小到人眼无法察觉，却能让模型以极高置信度输出错误预测。这类特殊构造的输入在学术界被称为对抗样本(adversarial examples)。
模型将右侧图像判定为长臂猿，置信度高达99.3%。
人眼看不出这两张熊猫图像有任何区别，而模型对左图的预测是熊猫，置信度57.7%显得不太确定。中间那张看起来像噪声的图案其实是经过精心设计的扰动掩码，将其乘以一个很小的系数0.007后叠加到原图上。肉眼完全察觉不到变化，但却可以让模型以99.3%的置信度认定右图是长臂猫的图像。
这个现象说明模型并未真正理解图像的本质结构。模型构建的是一种内部表征来描述自然图像，但分布外的数据点就能轻易突破这种表征的局限。
2014年Christian Szegedy做过一个有趣的实验：他从CIFAR-10数据集选了几张图片，试图用反向传播把它们逐步转换成飞机，想观察图像是如何一步步接近飞机的样子。
https://avoid.overfit.cn/post/815495f184a049389d702becdb972067