对抗样本

对抗样本（英语：adversarial examples），又称对抗性样本，指攻击者对正常输入样本施加精心构造的微小扰动后形成的输入，其目的在于使机器学习模型产生错误的输出。对人类观察者而言，对抗样本与原始样本之间的差别几乎无法被察觉，模型却能以极高的置信度给出错误结果。在一项经典演示中，ImageNet上的 GoogLeNet 网络原本以57.7%的置信度把一张熊猫图像识别为熊猫；叠加这种扰动后，模型却以99.3%的置信度把它改判为长臂猿。由于扰动幅度极小，这类攻击具有很强的隐蔽性。
这种脆弱性并非深度神经网络独有，线性分类器、支持向量机等多种模型同样存在。深度学习研究者自2014年起广泛关注该现象：在 Christian Szegedy 等人的实验中，肉眼不可察觉的扰动即可欺骗多种经典与深度网络。2015年，Ian Goodfellow 等人给出基于线性的解释和一种低成本的构造方法——快速梯度符号法（Fast Gradient Sign Method，FGSM）。类似思想更早便已出现：自2004年起，垃圾邮件过滤等领域的研究者已注意到，攻击者只需对邮件内容稍作修改，即可绕过过滤器对垃圾邮件的检测。
研究者已发展出多种构造对抗样本的方法：既有以模型梯度为导向的快速方法与迭代优化方法，也有无需了解模型内部结构的黑盒方法，还有不再追求不可察觉的对抗贴片等形式。为一个模型构造的样本还能欺骗其他模型，经过优化的单一“通用扰动”甚至能同时干扰模型对大量输入的判断。这类攻击还能进入物理世界：打印后翻拍的图像、3D打印的物件、交通标志上的贴纸、特制的眼镜框，都能在现实场景中误导视觉系统。自动驾驶汽车、人脸识别、医学影像分析等安全关键应用因此都在其攻击之列，恶意软件检测、语音识别与大语言模型等系统同样面临对抗攻击的威胁。
围绕防御的研究由此催生了对抗训练、对抗样本检测与认证防御等方法。但其中许多防御随后被更强的攻击击破，鲁棒性与准确率之间也存在权衡。基于离散符号与显式规则的符号式方法则不被以梯度为导向的攻击直接命中，树集成等经典模型仍面临系统性的规避攻击。对抗样本的成因至今仍有争议：线性假说把它归结为模型的线性特性，特征视角的解释则把它追溯到数据中人类难以利用的“非鲁棒特征”。作为人工智能安全领域的核心议题，对抗样本已成为多条研究脉络的共同焦点。