麻省大学阿默斯特分校和贝勒医学院的人工智能(AI)专家报告说,他们从一种被称为“会放”的人脑记忆机制中汲取灵感,成功解决了他们所称的“提高人工智能能力的长期主要障碍”
Baylor的第一作者和博士后研究员Gido van de Ven和首席研究员Andreas Tolias与UMass Amherst的Hava Siegelmann一起在《自然通讯》上写道,他们已经开发出一种新的方法来保护“令人惊讶地有效”的深度神经网络,以防止“灾难性的遗忘”-在学习新课程后,网络会忘记他们以前学到的东西。
Siegelmann及其同事指出,深度神经网络是最近AI进步的主要驱动力,但这种遗忘阻碍了进步。
他们写道:“一种解决方案是存储先前遇到的示例,并在学习新知识时重新访问它们。尽管这样的“重播”或“排练”解决了灾难性的遗忘,”他们补充说,“不断地对所有先前学习的任务进行再培训是非常低效率的,必须存储的数据量很快变得难以管理。”
与AI神经网络不同的是,人类可以在早期课程的基础上不断累积信息。他们解释说,被认为可以保护记忆免受遗忘的大脑重要机制是再现代表这些记忆的神经元活动模式。
西格尔曼说,该团队的主要见解在于“认识到大脑中的重放不会存储数据”。相反,“大脑可以在更高,更抽象的层次上生成记忆的表示,而无需生成详细的记忆。” 受此启发,她和同事们创造了类似于大脑的人工回放,其中没有存储任何数据。相反,就像大脑一样,网络会生成以前所见事物的高级表示。
事实证明,“抽象的生成性大脑重放”非常有效,并且该团队表明重放仅几个生成的表示足以记住旧记忆,同时学习新记忆。生成性重放不仅可以防止灾难性的遗忘,而且还为系统学习提供了一种新的,更简化的路径,它还使系统可以将学习从一种情况推广到另一种情况。
例如,“如果我们具有生成性重放功能的网络首先学会将猫与狗分开,然后将熊与狐狸分开,那么它也会在没有经过专门培训的情况下告诉猫与狐狸。而且,值得注意的是,系统学到的越多,学习新任务越好。” van de Ven说。
他和同事写道:“我们提出了一种全新的,受大脑启发的重播变体,其中重播由网络自身的上下文调制反馈连接生成的内部或隐藏表示形式。我们的方法可实现最新的性能在不存储数据的情况下挑战不断学习基准的挑战,它为大脑中的抽象水平重放提供了一种新颖的模型。”
范德文说:“我们的方法对重播可能有助于大脑记忆巩固的方式做出了一些有趣的预测。我们已经在进行实验,以测试其中的一些预测。”