AI专家受大脑的记忆能力启发,使神经网络不再那么“健忘”

 麻省大学阿默斯特分校和贝勒医学院的人工智能(AI)专家报告说,他们从一种被称为“会放”的人脑记忆机制中汲取灵感,成功解决了他们所称的“提高人工智能能力的长期主要障碍”


Baylor的第一作者和博士后研究员Gido van de Ven和首席研究员Andreas Tolias与UMass Amherst的Hava Siegelmann一起在《自然通讯》上写道,他们已经开发出一种新的方法来保护“令人惊讶地有效”的深度神经网络,以防止“灾难性的遗忘”-在学习新课程后,网络会忘记他们以前学到的东西。


AI专家受大脑的记忆能力启发,使神经网络不再那么“健忘”_人工智能_AI+


Siegelmann及其同事指出,深度神经网络是最近AI进步的主要驱动力,但这种遗忘阻碍了进步。


他们写道:“一种解决方案是存储先前遇到的示例,并在学习新知识时重新访问它们。尽管这样的“重播”或“排练”解决了灾难性的遗忘,”他们补充说,“不断地对所有先前学习的任务进行再培训是非常低效率的,必须存储的数据量很快变得难以管理。”


与AI神经网络不同的是,人类可以在早期课程的基础上不断累积信息。他们解释说,被认为可以保护记忆免受遗忘的大脑重要机制是再现代表这些记忆的神经元活动模式。


西格尔曼说,该团队的主要见解在于“认识到大脑中的重放不会存储数据”。相反,“大脑可以在更高,更抽象的层次上生成记忆的表示,而无需生成详细的记忆。” 受此启发,她和同事们创造了类似于大脑的人工回放,其中没有存储任何数据。相反,就像大脑一样,网络会生成以前所见事物的高级表示。


AI专家受大脑的记忆能力启发,使神经网络不再那么“健忘”_人工智能_AI+


事实证明,“抽象的生成性大脑重放”非常有效,并且该团队表明重放仅几个生成的表示足以记住旧记忆,同时学习新记忆。生成性重放不仅可以防止灾难性的遗忘,而且还为系统学习提供了一种新的,更简化的路径,它还使系统可以将学习从一种情况推广到另一种情况。


例如,“如果我们具有生成性重放功能的网络首先学会将猫与狗分开,然后将熊与狐狸分开,那么它也会在没有经过专门培训的情况下告诉猫与狐狸。而且,值得注意的是,系统学到的越多,学习新任务越好。” van de Ven说。


他和同事写道:“我们提出了一种全新的,受大脑启发的重播变体,其中重播由网络自身的上下文调制反馈连接生成的内部或隐藏表示形式。我们的方法可实现最新的性能在不存储数据的情况下挑战不断学习基准的挑战,它为大脑中的抽象水平重放提供了一种新颖的模型。”


范德文说:“我们的方法对重播可能有助于大脑记忆巩固的方式做出了一些有趣的预测。我们已经在进行实验,以测试其中的一些预测。”


42
182
0
48

相关资讯

  1. 1、机器人自学使用工具:自己能做到的事尽量不麻烦别人4344
  2. 2、三星与奥运会的不解之缘将为2020东京站提供支持4660
  3. 3、俄罗斯着眼现代化军事发展普京:未来属于人工智能4103
  4. 4、百度地图组建中国规模最大AI技术最强数据采编团队3068
  5. 5、“野马锂”?福特在SEMA展示了其900马力的电动野马车2399
  6. 6、可爱的猩猩有救了!印尼利用机器学习来拯救猩猩1625
  7. 7、天猫精灵上线疫情查询服务用户再添信息获取渠道4720
  8. 8、昆仑万维投资小马智行五千万美元跨界布局无人驾驶353
  9. 9、专访荣耀赵明:智慧屏是家庭智慧中心为行业注入活力2441
  10. 10、类脑超级电脑或将在2022年诞生可以像人类一样思考4183
全部评论(0)
我也有话说
0
收藏
点赞
顶部