科学家解决了人工智能记忆容易遗忘的难题

科学家解决了人工智能记忆容易遗忘的难题

马萨诸塞大学阿默斯特分校和贝勒医学院的人工智能（AI）专家报告说，他们从一种被称为“重放”的人脑记忆机制中汲取灵感，成功解决了他们所称的“提高人工智能能力的长期主要障碍”

第一作者兼博士后研究者Gido van de Ven和贝勒大学Amherst分校Hava Siegelmann的首席研究员Andreas Tolias在《自然通讯》杂志上写道，他们开发了一种新方法，在学习新的经验教训后，保护深层神经网络免受“灾难性遗忘”，网络忘记了他们以前学过的东西。

Siegelmann和他的同事指出，深层神经网络是最近人工智能进步的主要驱动力，但是这种遗忘阻碍了进步。

他们写道，“一种解决办法是储存以前遇到的例子，在学习新东西时再重温一遍。尽管这样的‘重放’或‘预演’解决了灾难性的遗忘问题，”他们补充道，“不断地对以前学习到的任务进行再培训是非常低效的，必须存储的数据量很快就会变得无法管理。”

与人工智能神经网络不同，人类能够在其一生中不断积累信息，建立在先前的经验基础上。他们解释说，大脑中一个重要的机制被认为能保护记忆不被遗忘，是代表这些记忆的神经元活动模式的重演。

Siegelmann说，该团队的主要见解是“认识到大脑中的回放并不存储数据。”相反，“大脑在更高、更抽象的水平上生成记忆的表示，而不需要生成详细的记忆。”受此启发，她和同事们创造了一种类似人工大脑的回放，其中不存储任何数据。相反，就像大脑一样，网络产生了它以前所见的高级表征。

“抽象-生成性大脑回放”被证明是非常有效的，研究小组表明，仅仅重放一些生成的表征就足以在学习新的记忆的同时记住旧的记忆。他们说，生成性重放不仅可以防止灾难性遗忘，而且为系统学习提供了一条新的、更精简的路径，它允许系统将学习从一种情况推广到另一种情况。

例如，“如果我们的再生回放网络首先学会了区分猫和狗，然后又学会了区分熊和狐狸，那么它也会在没有经过专门训练的情况下区分猫和狐狸。值得注意的是，系统学习的越多，它在学习新任务方面就越出色。

他和他的同事写道：“我们提出了一种新的、受大脑启发的回放变体，在这种变体中，内部或隐藏的表征被重放，这些表征是由网络自身的、上下文调节的反馈连接产生的。我们的方法在不存储数据的情况下，在挑战持续学习基准方面达到了最先进的性能，并且为大脑中抽象级别的回放提供了一种新的模型。”

范德文说：“我们的方法对回放可能有助于大脑记忆巩固的方式做出了一些有趣的预测。我们已经在进行一项实验来测试其中一些预测。”

这项工作得到了国际脑研究组织（IBRO-ISN）研究基金会、国防部高级研究项目局终身学习机器计划和通过内政部/内部商业中心开展的情报高级研究项目活动的支持。