自动驾驶汽车、医学图像分析和其他计算机视觉应用背后的人工智能依赖于所谓的深层神经网络。

松散地模拟在大脑上，这些由相互连接的“神经元”层组成——数学函数发送和接收信息，这些信息根据输入数据的特征“发射”。第一层处理原始数据输入，如图像中的像素，并将该信息传递给上面的下一层，触发其中一些神经元，然后这些神经元将信号传递到更高的层，直到最终确定输入图像中的内容。

但杜克大学计算机科学教授辛西娅·鲁丁说，这是个问题。”例如，我们可以输入医学图像，然后观察另一端的结果（“这是一张恶性病变的图片”，但很难知道其间发生了什么。”

这就是所谓的“黑匣子”问题。网络的隐藏层在机器的脑海里发生了什么，即使是建造它的人，也常常是难以理解的。

“深度学习模式的问题在于它们太复杂了，以至于我们实际上不知道它们在学习什么，”杜克大学鲁丁实验室的博士生陈志说他们往往不想利用他们的信息。他们的推理过程可能完全错误。”

鲁丁，陈和杜克大学的本科生贝一杰想出了一个解决这个问题的办法。通过修改预测背后的推理过程，研究人员有可能更好地排除网络故障或了解网络是否可信。

大多数方法都试图通过指出识别图像的关键特征或像素来揭示是什么导致了计算机视觉系统在事后得出正确答案：“胸部X光片中的生长被归类为恶性，因为对于模型来说，这些区域在肺癌的分型中是至关重要的。”这些方法没有揭示网络的推理，就在它寻找的地方。

杜克大学队尝试了另一种策略。他们的方法不是试图在事后的基础上解释网络的决策，而是训练网络通过表达对概念的理解来展示自己的工作。他们的方法通过揭示网络在多大程度上唤起大脑不同的概念来帮助破译它看到的东西。”它解开了不同概念在网络层中的表现方式，”鲁丁说。

例如，给定一个图书馆的图像，该方法可以确定神经网络的不同层是否以及在多大程度上依赖于它们对“书籍”的心理表征来识别场景。

研究人员发现，只要对神经网络稍作调整，就有可能像原始网络一样准确地识别图像中的对象和场景，并在网络的推理过程中获得实质性的可解释性。”这项技术应用起来非常简单。”鲁丁说。

该方法控制信息在网络中的流动方式。它包括用一个新的部分代替神经网络的一个标准部分。新的部分仅限制网络中的单个神经元响应人类理解的特定概念而激发。这些概念可以是日常用品的类别，如“书”或“自行车”。但也可以是一般特征，如“金属”、“木材”、“寒冷”或“温暖”。通过一次只有一个神经元控制一个概念的信息，就更容易理解网络是如何“思考”的

研究人员在一个由数百万张标记图像训练的神经网络上尝试了他们的方法，以识别各种室内外场景，从教室、食物场到操场和庭院。然后他们打开了它以前从未见过的图像。他们还研究了网络层在处理数据时最能借鉴的概念。

陈拿出了一个情节，展示了当他们把橙色日落的照片输入网络时发生了什么。他们训练过的神经网络说，日落图像中的暖色，比如橙色，往往与网络早期层中的“床”概念联系在一起。简言之，该网络在早期层高度激活“床神经元”。随着图像在连续的层中传播，网络逐渐依赖于对每个概念的更复杂的心理表征，“飞机”的概念比床的概念更为活跃，也许是因为“飞机”更多地与天空和云层联系在一起。

可以肯定的是，这只是事情的一小部分。但从这条轨迹来看，研究人员能够捕捉到网络思维方式的重要方面。

研究人员说，他们的模块可以连接到任何识别图像的神经网络中。在一个实验中，他们把它与一个训练成在照片中检测皮肤癌的神经网络连接起来。

在人工智能学会识别黑素瘤之前，它必须通过筛选数千张由皮肤癌专家标记和标记的训练图像，来了解是什么使黑素瘤看起来不同于正常的痣和皮肤上的其他良性斑点。

但是这个网络似乎在召唤一个“不规则边界”的概念，它是在没有训练标签的帮助下，自己形成的。在人工智能应用中为图像添加注释的人并没有注意到这一点，但机器却注意到了。

“我们的方法揭示了数据集的一个缺点，”鲁丁说。或许，如果他们把这些信息包括在数据中，那么模型的推理是否正确就更清楚了。”这个例子说明了为什么我们不应该盲目相信“黑匣子”模型，而不知道它们内部发生了什么，特别是对于棘手的医学诊断。

该小组的研究成果发表在12月7日的《自然机器智能》杂志上。