被称为深度学习神经网络(deep learning neural networks)的人工智能系统越来越多地被用于为对人类健康和安全至关重要的决策提供信息，比如在自动驾驶或医疗诊断方面。这些网络善于识别大型复杂数据集中的模式，以帮助决策。但是我们怎么知道它们是正确的呢?麻省理工学院和哈佛大学的亚历山大·阿米尼和他的同事们想要找出答案。
他们开发了一种神经网络处理数据的快速方法，不仅输出预测，还输出基于可用数据质量的模型置信水平。这一进步可能会挽救生命，因为深度学习已经在现实世界中得到应用。网络的确定性水平可能是一辆自动驾驶汽车确定“通过十字路口已经很清楚了”和“可能很清楚，所以停下来以防万一”之间的差异。
目前神经网络的不确定性估计方法往往计算昂贵，而且对于瞬间决策来说相对缓慢。但阿米尼的方法，被称为“深度证据回归”，加速了这一过程，并可能导致更安全的结果。麻省理工学院计算机科学与人工智能实验室(CSAIL)丹妮拉·罗斯教授小组的博士生阿米尼说:“我们不仅需要高性能模型的能力，还需要了解什么时候我们不能信任这些模型。”
这个想法很重要，适用范围很广。它可以用来评估依赖于学习模型的产品。通过估计一个已学习模型的不确定性，我们也可以了解从这个模型中预期会有多少误差，以及哪些缺失的数据可以改进这个模型，”Rus说。
Amini将和Rus一起在下个月的NeurIPS会议上展示这项研究，Rus是电子工程和计算机科学的Andrew and Erna Viterbi教授，CSAIL主任，麻省理工学院Stephen A. Schwarzman计算机学院研究副院长;还有麻省理工学院的Wilko Schwarting和麻省理工学院和哈佛的Ava Soleimany。
高效的不确定性
在经历了跌宕起伏的历史之后，深度学习在各种任务上都表现出了卓越的表现，在某些情况下甚至超过了人类的准确性。如今，深度学习似乎与计算机无处不在。它为搜索引擎结果、社交媒体feed和面部识别提供了动力。阿米尼说:“利用深度学习，我们已经取得了巨大的成功。”“神经网络在99%的情况下都很擅长知道正确答案。”但99%的人在生命危在旦那的时候不会放弃。
阿米尼说:“有一件事让研究人员感到困惑，那就是这些模型知道并告诉我们它们什么时候可能是错的。”“我们真正关心的是那1%的时间，以及我们如何可靠和有效地检测这些情况。”
神经网络可以是巨大的，有时充满了数十亿个参数。所以仅仅得到一个答案就需要很大的计算量，更不用说置信度了。神经网络中的不确定性分析并不新鲜。但以前的方法，源自贝叶斯深度学习，依赖于对神经网络进行多次运行或采样，以了解其信心。这个过程需要时间和内存，这在高速交通中可能不存在。
研究人员设计了一种方法，通过神经网络的一次运行来估计不确定性。他们设计了一个有大量输出的网络，不仅产生一个决策，而且产生一个新的概率分布，捕获支持该决策的证据。这些分布被称为证据分布，直接反映了模型对其预测的信心。这包括存在于基础输入数据中的任何不确定性，以及模型的最终决策中的不确定性。这种区别可以表明是否可以通过调整神经网络本身来减少不确定性，或者输入数据是否只是有噪声的。
信心检查
为了测试他们的方法，研究人员从一个具有挑战性的计算机视觉任务开始。他们训练自己的神经网络来分析一幅单目彩色图像，并估计每个像素的深度值(即到相机镜头的距离)。自动驾驶汽车可能会使用类似的计算来估计它与行人或其他车辆的距离，这可不是一项简单的任务。
他们的网络性能与之前的最先进的模型相当，但它也获得了估计自身不确定性的能力。正如研究人员所希望的那样，该网络在预测错误深度时对像素的不确定性很高。Amini说:“它是根据网络产生的误差进行校准的，我们认为这是判断一种新的不确定性估计器质量的最重要的事情之一。”
为了对他们的校准进行压力测试，研究小组还表明，网络对“分布外”数据的不确定性更高——这是在训练中从未遇到过的全新类型的图像。在对网络进行室内家庭场景训练后，他们给它输入了一批户外驾驶场景。广播网一直警告说，它对小说外景的反应是不确定的。该测试强调了网络在用户不应该完全信任其决定时标记的能力。在这些情况下，“如果这是一个医疗应用程序，也许我们不相信模型给出的诊断，而是寻求另一种意见，”阿米尼说。
该网络甚至知道照片被篡改过，这可能会防止数据操纵攻击。在另一项试验中，研究人员在向网络提供的一批图像中提高了不利的噪音水平。这种效果很微妙——人眼几乎察觉不到——但是网络嗅出了这些图像，并给其输出的图像贴上了高度不确定性的标签。这种对伪造数据发出警告的能力，可以帮助发现和阻止对抗性攻击，这在深度造假的时代日益受到关注。
深度证据回归是“一种简单而优雅的方法，它推进了不确定性估计领域，这对机器人和其他现实世界的控制系统很重要，”Raia Hadsell说，他是DeepMind的人工智能研究员，但没有参与这项工作。这是用一种新颖的方式来实现的，避免了其他方法的一些脏乱的方面，比如。抽样或集合——这不仅使它优雅，而且在计算上更有效——是一个成功的组合。”
深度证据回归可以提高人工智能辅助决策的安全性。阿米尼说:“我们开始看到越来越多的这些神经网络模型从研究实验室中慢慢流出，进入现实世界，进入接触到可能危及生命的人的情况。”“任何使用该方法的人，无论是医生还是坐在汽车副驾驶座位上的人，都需要意识到与该决定相关的任何风险或不确定性。”他设想，该系统不仅能快速显示不确定性，还能在自动驾驶汽车驶近十字路口等危险情况下，利用它做出更保守的决策。
他说:“任何将拥有可部署机器学习的领域，最终都需要有可靠的不确定性意识。”
