研究人员发现了新的深度学习模式:更少的神经元,更强大的智能

研究人员发现了新的深度学习模式:更少的神经元,更强大的智能_人工智能_机器人


人工智能已经进入我们日常生活的搜索引擎。这与近年来巨大的计算能力有关。但是人工智能研究的最新结果表明,更简单、更小的神经网络可以比以前更好、更有效、更可靠地解决某些任务。


来自维也纳、奥地利和美国麻省理工学院的一个国际研究小组开发了一种新的人工智能系统,该系统基于微小动物的大脑,如丝虫。这种新型的人工智能系统只需几个人工神经元就能控制一辆汽车。研究小组说,与以前的深度学习模型相比,该系统具有决定性的优势:它能更好地处理噪声输入,而且由于其简单,其操作模式可以得到详细解释。它不必被视为一个复杂的“黑匣子”,但它可以被人类理解。这种新的深度学习模型已经发表在《自然机器智能》杂志上。


向大自然学习


与活的大脑类似,人工神经网络由许多单独的细胞组成。当一个细胞活动时,它向其他细胞发送信号。下一个单元接收到的所有信号将被组合起来,以决定该单元是否也将变为活动状态。一个细胞影响下一个细胞活动的方式决定了系统的行为——这些参数在自动学习过程中被调整,直到神经网络能够解决特定任务。


“多年来,我们一直在研究我们可以从自然界学到什么来提高深度学习,”TU Wien研究小组“网络物理系统”的负责人拉杜·格罗苏教授说,例如,线虫C.elegans生活在数量惊人的少数神经元中,并且表现出有趣的行为模式。这是由于线虫的神经系统处理信息的高效而和谐的方式。”


麻省理工学院计算机科学与人工智能实验室(CSAIL)主任丹尼拉·鲁斯教授说:“大自然向我们表明,人工智能仍有很大的改进空间。”因此,我们的目标是大幅度降低神经网络模型的复杂性并提高其可解释性。”


“受大自然的启发,我们开发了神经元和突触的新数学模型,”奥地利IST主席托马斯·亨辛格教授说。


“单个细胞内信号的处理遵循不同于以往深度学习模型的数学原理,”Ramin Hasani博士说,他是计算机工程研究所、TU Wien和MIT CSAIL的博士后而且,我们的网络是高度稀疏的——这意味着并不是每一个单元都与其他单元相连。这也使网络更加简单。”


为了测试这些新想法,研究小组选择了一个特别重要的测试任务:自动驾驶汽车停在车道上。神经网络接收道路的摄像机图像作为输入,并自动决定是向右还是向左转向。


“今天,具有数百万个参数的深度学习模型通常用于学习复杂的任务,如自动驾驶,”图文恩校友、IST奥地利博士生Mathias Lechner说然而,我们的新方法使我们能够将网络规模缩小两个数量级。我们的系统只使用75000个可训练参数。”


麻省理工学院CSAIL的博士生Alexander Amini解释说,新系统由两部分组成:摄像机输入首先由所谓的卷积神经网络处理,后者只感知视觉数据,从输入的像素中提取结构特征。这个网络决定了摄像机图像的哪些部分是重要的,然后将信号传递到网络的关键部分——一个控制系统,然后控制车辆。


两个子系统被堆叠在一起,同时被训练。人们在波士顿地区驾驶的交通视频被收集,并被输入网络,以及在任何特定情况下如何驾驶汽车的信息——直到系统学会自动将图像与适当的转向方向连接起来,并能独立处理新情况。


该系统的控制部分(称为神经回路策略,简称NCP)将感知模块的数据转换为转向指令,仅由19个神经元组成。Mathias Lechner解释说,NCP比以前最先进的模型要小3个数量级。


因果关系和可解释性


新的深度学习模式在真正的自主汽车上进行了测试。”我们的模型允许我们调查网络在驾驶时关注什么。我们的网络关注的是摄像机画面中非常具体的部分:路边和地平线。拉明·哈萨尼说:“这种行为是非常可取的,在人工智能系统中是独一无二的。”此外,我们还发现,每个单元在任何驱动决策中的作用都是可以确定的。我们可以了解单个细胞的功能及其行为。”


稳定性


“为了测试ncp与以前的deep模型相比有多稳定,我们对输入图像进行了扰动,并评估了处理噪声的能力,”Mathias-Lechner说虽然这对于其他深层神经网络来说是一个无法克服的问题,但是我们的ncp对输入伪影表现出了很强的抵抗力。这个属性是新的神经模型和体系结构的直接结果。”


“可解释性和稳定性是我们新模型的两大优势,”Ramin Hasani说但还有更多:使用我们的新方法,我们还可以减少训练时间,减少在相对简单的系统中实现人工智能的可能性。我们的NCP能够在广泛的应用中实现模拟学习,从仓库的自动化工作到机器人的移动。新发现为人工智能社区开辟了重要的新视角:生物神经系统中的计算原理可以成为创造高性能可解释人工智能的重要资源——作为迄今为止我们使用的黑匣子机器学习系统的替代品。”


参考文献:Mathias Lechner, Ramin Hasani, Alexander Amini, Thomas A. Henzinger, Daniela Rus, Radu Grosu. Neural circuit policies enabling auditable autonomy. Nature Machine Intelligence, 2020; 2 (10): 642 DOI: 10.1038/s42256-020-00237-3。


65
184
0
46

相关资讯

  1. 1、视芯科技发布首个超柔性数字图像传感器,实现半导体里程碑性突破2616
  2. 2、MEMS加速度传感器双赢,增长强势2221
  3. 3、Intel八代酷睿扩充产能:增加新的封装厂加入“中国制造”1193
  4. 4、千亿市场风暴来了,传感器产业如何走向世界尖端?39
  5. 5、优傲机器人:发布e-Series树立协作式自动化平台新标准2122
  6. 6、可折叠手机热度不减,联想也公布出可折叠手机发布时间1520
  7. 7、8家中国人工智能公司被美列入实体名单海康威视、大华相继停牌4928
  8. 8、中国移动:高端路由交换集采,新华三力压华为3380
  9. 9、华扬联众与TalkingData合作,升级DMP服务平台394
  10. 10、Nora推出新型LED筒灯,具有12种反射器样式4416
全部评论(0)
我也有话说
0
收藏
点赞
顶部