在人工智能研究的世界中，经常会发生奇怪的事情。德国不伦瑞克工业大学的研究人员表明，修改数码照片的像素值可以在缩小比例时将它们变成完全不同的图像。所涉及的是这些修改可能对AI算法产生的影响。

恶意行为者可以使用这种图像缩放技术作为对机器学习模型（面部识别和物体检测等计算机视觉任务中使用的人工智能算法）的对抗图像变形的方法。对抗性机器学习是一类数据处理技术，可引起AI算法行为的变化，而不会引起人们的注意。

不伦瑞克理工大学的研究人员深入分析了针对机器学习系统的阶段性如何防止对抗性图像缩放变形。他们的发现提醒我们，我们还没有发现AI算法的许多隐藏面和威胁，这些在我们的日常生活中正变得越来越突出。

在经过多次演示之后，机器学习模型将创建不同类别之间相似性的标记。例如，如果您训练一种机器学习算法来区分猫和狗之间的差异，它将尝试创建一个统计模型，该模型可以判断新图像中的像素更像在狗或猫图像中像素的哪一个。（细节因不同类型的机器学习算法而异，但是基本思想是相同的。）

这些AI算法学会分辨不同物体之间的差异的方式与人类视觉的工作方式不同。大多数对抗性攻击都利用这种差异来创建微小的修改，这些修改在改变机器学习系统的输出时仍然无法被人眼察觉。例如，在下图中，刻意添加的干扰数据将导致经过深度学习算法，将熊猫误认为长臂猿。

但是，尽管经典的对抗性攻击利用了AI算法内部功能的特殊性，但图像缩放攻击却侧重于机器学习的预处理阶段。这就是为什么研究人员将论文命名为“ Adversarial预处理”的原因。

研究人员在论文中写道：“尽管大量研究已经研究了针对学习算法的攻击性，但到目前为止，机器学习预处理中的漏洞却鲜为人知。”

每种图像处理机器学习算法对其输入数据都有一组要求。这些要求通常包括图像的特定大小（例如299 x 299像素），但其他因素（例如颜色通道数（RGB，灰度）和颜色深度（1位，8位等））也可能会参与其中。

无论您是在训练机器学习模型还是将其用于推理（分类，对象检测等），都需要对图像进行预处理，以适应AI的输入要求。根据刚才看到的要求，我们可以假定预处理通常需要将图像缩放到合适的大小。而且，就像软件通常一样，当恶意黑客知道程序（或程序的至少一部分）如何工作时，他们将尝试寻找方法来利用程序以发挥自己的优势。

图像缩放攻击背后的关键是利用缩放算法在预处理阶段更改输入图像的外观。大多数机器学习和深度学习库都使用了一些众所周知且有据可查的缩放算法。这些算法大多数与您在图像编辑应用程序（例如Photoshop）中发现的算法相同，例如最近邻算法和双线性插值。这使攻击者更容易设计可同时用于多种机器学习算法的漏洞利用程序。

当图像按比例缩小时，调整大小后的图像中的每个像素都是源图像中一个像素块的值的组合。执行转换的数学函数称为“内核”。但是，并非源块中的所有像素在内核中的贡献均相等（否则，调整大小的图像将变得太模糊）。在大多数算法中，内核将更大的权重分配给更靠近源块中间的像素。

在对抗性预处理中，攻击者拍摄图像并在正确位置修改像素值。当图像经过缩放算法时，它会变形为目标图像。最后，机器学习处理修改后的图像。因此，基本上，您所看到的是源图像。但是机器学习模型看到的是目标图像。

在攻击机器学习模型时，攻击者必须知道所使用的调整大小算法的类型以及内核的大小。考虑到大多数机器学习库几乎没有扩展选项，研究人员发现攻击者只需尝试几次即可找到正确的设置。

在对TechTalks的评论中， IBM Research的首席科学家Chen Pin-Yu Chen将对抗性图像缩放与隐写术进行了比较，在隐写术中，缩小图像被嵌入到源图像中，并且只能由缩小算法解码。

针对机器学习算法的图像缩放攻击基本上有两种情况。一种攻击类型是创建对抗性示例，这些示例会在经过训练的机器学习算法中导致错误的预测。例如，如以上示例所示，图像缩放攻击可能导致机器学习算法将猫分类为狗，将茶壶分类为猫。

AI研究人员在论文中指出，也许图像缩放的更大威胁是“数据中毒”攻击。

数据中毒是一种在训练阶段进行的对抗式攻击，当机器学习模型将其参数调整为成千上万个图像的像素时。如果攻击者可以访问并且可以篡改训练中使用的数据集，则她将能够使机器学习模型针对对抗性示例进行训练。这在AI算法中创建了后门，攻击者以后可以使用它。

例如，一家正在创建面部识别系统以控制其处理敏感材料的公司。该公司的工程师正在训练卷积神经网络，以检测授权员工的面孔。在团队收集培训数据集的同时，恶意员工窃取了一些被篡改的图像，从而隐藏了未经授权人员的照片。

在训练了神经网络之后，工程师对AI进行测试，以确保它正确地检测到授权员工。他们还会检查一些随机图像，以确保AI算法不会错误地授予未经授权的人员访问权限。但是，除非他们在对抗性攻击中所面对的人面前明确检查机器学习模型，否则他们不会发现其令人讨厌的秘密。

对抗图像缩放攻击可以在源图像中隐藏目标脸部，而不会被人发现。

另一个示例：假设您正在训练停车标志图像的神经网络，以供以后在自动驾驶汽车中使用。恶意行为者可以使训练数据中毒，以包含停车标志的修补图像。这些被称为“对抗补丁”。训练后，神经网络会将带有该补丁的任何符号与目标类别相关联。因此，例如，它可能会导致自动驾驶汽车将某些随机标志视为停车标志，或者更糟的是，将分类错误并绕过了实际停车标志。

布伦瑞克理工大学的研究人员在论文中强调，图像缩放攻击是对AI的特别严重的威胁，因为大多数计算机视觉机器学习模型都使用几种流行的图像缩放算法之一。这使得图像缩放攻击成为“不可知模型”，这意味着它们对他们所针对的AI算法类型不敏感，并且单个攻击方案可以应用于整个机器学习算法。

相反，经典的对抗性示例是为每种机器学习模型设计的。并且，如果目标模型进行了微小的更改，则攻击可能不再有效。

“与需要完全了解目标模型和完全透明的目标模型的白盒对抗攻击相比，图像缩放攻击所需的信息更少（只需要知道目标系统中使用了哪种缩放算法），因此它更加实用（在攻击者的知识方面进行灰箱攻击。”

图像缩放攻击确实是产生对抗性示例的有效方法。但是他补充说，并不是每个机器学习系统都有缩放操作。他说：“这种类型的攻击仅限于具有缩放功能的基于图像的模型，而其他示例中可能存在没有缩放和其他数据形式的对抗性示例，”他说。对抗性机器学习也适用于音频和文本数据。

保护机器学习模型免受图像缩放攻击

从好的方面来说，对抗性图像缩放的简单性还使得可以更好地检查攻击方案并开发可以保护机器学习系统的技术。

“由于学习模型的复杂性，对学习算法的攻击仍然很难分析，但是缩放算法的定义良好的结构使我们能够全面分析缩放攻击，并开发有效的防御措施，”不伦瑞克大学的研究人员写道。

在他们的论文中，研究人员提供了几种阻止对抗图像缩放攻击的方法，包括缩放算法以平滑内核的权重，以及图像重建滤波器可以消除被篡改的像素值的影响。

图像重建技术通过将敏感像素替换为其周围区域的值，从而降低了对抗性图像缩放攻击的可能性。

研究人员写道：“我们的工作为机器学习中的预处理安全性提供了新颖的见解。” “我们认为，有必要开展进一步的工作来识别和排除数据处理不同阶段的其他漏洞，以增强基于学习的系统的安全性。”

近年来，使机器学习算法对对抗攻击的鲁棒性已成为研究的一个活跃领域。IBM的Chen表示：“除了攻击之外，还使用对抗性示例进行模型训练以增强模型的鲁棒性。为了进行对抗性训练（以对抗性示例进行训练），进行不同类型的对抗性攻击是有益的。”