在过去的几年里,人工智能(AI)工具,特别是深层神经网络,在许多任务上取得了显著的成果。然而,最近的研究发现这些计算技术有一些局限性。在最近发表在《自然机器智能》(Nature Machine Intelligence)上的一篇论文中,英国图宾根大学和多伦多大学的研究人员探索并讨论了一个被称为“捷径学习”的问题,该问题似乎是近年来发现的深层神经网络的许多缺点的基础。
研究人员之一罗伯特·盖洛斯和和朋友克劳迪奥·米凯利斯,在完全不同的环境中发现了相同的模式:“捷径学习”或“作弊”。他们观察到的这种现象,似乎是人工智能和生物智能的共同特征,可以解释许多深层神经网络的卓越性能和典型故障之间的差异。为了进一步研究这个想法,他们与其他同事合作,包括约恩·亨里克·雅各布森、理查德·泽梅尔、维兰·布伦德尔、马蒂亚斯·贝奇和费利克斯·威奇曼。
研究人员各自以独特的方式参与了这项研究,并与他们的专业领域保持一致,从神经科学到机器学习和心理物理学。他们的论文包括了在机器和动物中的快捷学习和作弊的例子,例如,深层神经网络的具体失败,以及老鼠在实验中作弊,学生在考试中作弊的例子。
“我们希望我们的观点能为这个问题提供一个很好的介绍,并鼓励在将高水平的能力归因于机器之前,采用更强大、更合适的测试方法来防止作弊。”盖尔霍斯说考虑到这篇文章是一个视角,我们在众多作者的许多精彩文章的基础上进行构建,每一篇都贡献了自己的一部分。就我个人而言,一个重要的先兆是我在ICLR和VSS会议上提出的项目,发现了神经网络中的纹理偏差,这是快捷学习的一个实例。
术语“快捷方式学习”描述了机器试图识别最简单的解决方案或解决给定问题的“快捷方式”的过程。例如,深层神经网络可以认识到,对象(例如,汽车轮胎)的特定纹理补丁或部分通常足以预测图像中汽车的存在,并且因此可以开始预测图像中汽车的存在,即使图像中只包括汽车轮胎。
快捷学习本质上意味着神经网络喜欢作弊。盖洛斯说乍一看,人工智能通常工作得很出色,例如,它可以识别出一张图片是否包含动物,例如绵羊。只有经过仔细观察,才发现神经网络作弊了,只是看了背景。”
神经网络作弊的一个例子是,它将一个空的绿色景观归类为“绵羊”,仅仅是因为它之前处理了绵羊站在自然景观前面的图像,而当它处于一个不寻常的环境(例如,在海滩上)时,却无法认出一只真正的绵羊。这是盖洛斯和他的同事在论文中提到的众多例子之一。
虽然这是一个简单的捷径学习的例子,但这些作弊模式往往要微妙得多。它们可能非常微妙,以至于研究人员有时很难识别人工神经网络正在采用的作弊策略,而且可能只是意识到它没有以他们希望的方式解决任务。
“这种作弊模式在日常生活中也有相似之处,例如,学生们在准备课堂考试时,只会背着事实,而没有对问题有一个真正的理解。”盖尔霍斯说。不幸的是,在人工智能领域,捷径学习不仅会带来欺骗性的好成绩,而且在某些情况下,还会导致歧视,例如,人工智能更喜欢推荐男性求职,因为之前的职位已经主要由男性担任。
本文定义、描述和探讨了快捷学习的概念,同时也解释了它如何影响深层神经网络的性能,并与在人类和其他动物身上观察到的行为进行了类比。他们的工作可以激励其他研究团队更详细地研究深层神经网络的缺点,或许有助于开发防止他们作弊的解决方案。Geirhos和他的一些同事现在正在开发更强大的测试方法,以仔细检查现有和新兴的基于深度神经网络的模型的局限性。
我们鼓励我们的同事共同开发和应用更强大的测试程序:只要一个人没有检查一个算法是否能处理意想不到的图像,比如海滩上的一头奶牛,作弊至少应该被认为是一种严重的可能性。闪光的不是金子:仅仅因为人工智能在基准测试中获得高分并不意味着人工智能也解决了我们真正关心的问题;有时,人工智能只是找到了一条捷径。不过,幸运的是,目前的人工智能方法绝非愚蠢,只是太懒了:如果受到足够的挑战,他们可以学习高度复杂的关系,但如果他们发现了一条简单的捷径,他们将是最后一个抱怨它的人。