深度学习无处不在。人工智能的分支能管理你的社交媒体和服务你的谷歌搜索结果。很快，深度学习还可以检查你的生命体征或设置你的恒温器。麻省理工学院的研究人员开发了一种系统，可以将深度学习神经网络带到新的或更小的地方，比如可穿戴医疗设备、家用电器中的微型计算机芯片，以及构成“物联网”(IoT)的其他2500亿物体。

该系统称为MCUNet，它设计了紧凑的神经网络，尽管内存和处理能力有限，但它们为IoT设备上的深度学习提供了空前的速度和准确性。该技术可以促进物联网领域的扩展，同时节省能源并提高数据安全性。

物联网

物联网诞生于1980年代初期。卡内基·梅隆大学（Carnegie Mellon University）的研究生，包括迈克·卡扎尔（Mike Kazar '78），将可乐机器装上了互联网。该小组的动机很简单：懒惰。他们想使用计算机来确认机器是否已存货，然后再从办公室徒步旅行进行购买。这是世界上第一台连接互联网的设备。微软工程师卡扎尔说：“这几乎被当成是玩笑的笑话。”

“没有人期望互联网上有数十亿台设备。”

自该可乐机问世以来，日常物品已越来越多地联网到不断增长的物联网中。其中包括从可穿戴式心脏监护仪到智能冰箱的所有信息，这些信息可以告诉您何时喝低牛奶。物联网设备通常在微控制器上运行，这些微控制器是无操作系统的简单计算机芯片，具有最小的处理能力，并且内存不到典型智能手机的千分之一。因此，深度学习等模式识别任务很难在IoT设备上本地运行。对于复杂的分析，物联网收集的数据通常被发送到云中，使其容易受到黑客攻击。

汉说：“我们如何直接在这些小型设备上部署神经网络？这是一个新的研究领域，而且越来越热。”

“像Google和ARM这样的公司都在朝这个方向努力。”

通过MCUNet，Han的小组对“微小的深度学习”所需的两个组件进行了代码签名-微控制器上神经网络的操作。其中的一个组件是TinyEngine，这是一个推理引擎，可以像操作系统一样指导资源管理。TinyEngine经过优化，可以运行特定的神经网络结构，该结构由MCUNet的其他组件TinyNAS（一种神经体系结构搜索算法）选择。

系统算法协同设计

为微控制器设计一个深度网络并不容易。现有的神经体系结构搜索技术从基于预定义模板的大量可能的网络结构开始，然后逐渐找到具有高精度和低成本的网络结构。尽管该方法有效，但并非最有效。Lin说：“它可以在GPU或智能手机上很好地工作。”

“但是将这些技术直接应用于微型微控制器非常困难，因为它们太小了。”

因此，林开发了TinyNAS，这是一种神经体系结构搜索方法，可创建自定义大小的网络。Lin说：“我们有许多微控制器具有不同的功率容量和不同的存储器大小。”

“因此，我们开发了算法[TinyNAS]，以优化不同微控制器的搜索空间。” TinyNAS的定制性质意味着它可以生成紧凑的神经网络，从而为给定的微控制器提供最佳性能-无需不必要的参数。Lin说：“然后，我们将最终的高效模型提供给微控制器。”

为了运行这个微小的神经网络，微控制器还需要一个精益推理引擎。典型的推理引擎具有一定的负担，可能很少执行任务。额外的代码对于笔记本电脑或智能手机没有问题，但是很容易使微控制器不堪重负。韩说：“它没有片外存储器，也没有磁盘。”

“所有东西都只有一兆字节的闪存，因此我们必须真正认真地管理如此小的资源。” 提示TinyEngine。

研究人员与TinyNAS一起开发了他们的推理引擎。TinyEngine生成运行TinyNAS的定制神经网络所需的必要代码。任何无用的代码都将被丢弃，从而减少了编译时间。韩说：“我们只保留我们需要的东西。”

“由于我们设计了神经网络，因此我们确切地知道了我们所需要的。这就是系统算法代码签名的优势。”

在小组的TinyEngine测试中，编译后的二进制代码的大小比Google和ARM的微控制器推理引擎小1.9至5倍。TinyEngine还包含减少运行时间的创新，包括就地深度卷积，可将峰值内存使用量减少近一半。在对TinyNAS和TinyEngine进行代码签名后，Han的团队对MCUNet进行了测试。

MCUNet的第一个挑战是图像分类。研究人员使用ImageNet数据库训练带有标签图像的系统，然后测试其对新颖图像进行分类的能力。在他们测试的商用微控制器上，MCUNet成功地对70.7％的新颖图像进行了分类-先前的最新神经网络和推理引擎组合的准确度仅为54％。Lin说：“即使提高1％也被认为是重要的。”

“因此，这是微控制器设置的巨大飞跃。”

该团队在其他三个微控制器的ImageNet测试中发现了相似的结果。在速度和准确性上，MCUNet在音频和视频“唤醒词”任务上均处于竞争状态，用户可以通过语音提示（想想：“嘿，Siri”）或只是进入一个房间就可以与计算机进行交互。实验强调了MCUNet对众多应用的适应性。

“潜力巨大”

令人鼓舞的测试结果使Han希望它将成为微控制器的新行业标准。他说：“它具有巨大的潜力。”

加州大学伯克利分校的计算机科学家库尔特·库特泽（Kurt Keutzer）说，这种进步“将深度神经网络设计的边界进一步扩展到了小型节能微控制器的计算领域”。他补充说，MCUNet可以“将智能计算机视觉功能带到最简单的厨房电器中，或启用更多智能运动传感器。”

MCUNet还可以使IoT设备更安全。韩说：“关键优势在于保护隐私。”

“您不需要将数据传输到云。”

在本地分析数据可降低个人信息（包括个人健康数据）被盗的风险。Han设想使用MCUNet的智能手表不仅可以感知用户的心跳，血压和氧气水平，还可以分析并帮助他们理解这些信息。MCUNet还可以为互联网访问受限的车辆和农村地区的物联网设备带来深度学习。

此外，MCUNet的超薄计算空间可转化为超薄的碳足迹。韩说：“我们的梦想是绿色人工智能。”他补充说，训练大型神经网络可以燃烧相当于五辆汽车终身排放的碳。微控制器上的MCUNet将只消耗一小部分能量。“我们的最终目标是用更少的计算资源、更少的人力资源和更少的数据来实现高效、微型的AI，” Han说。