6月10日,深度学习之父、图灵奖得主Hinton在北京智源大会上进行了一场令人震撼的闭幕主题演讲,演讲时长长达30分钟。与我们先前的预期不同,他并没有泛谈超级人工智能AGI如何控制人类,而是向我们展示了一项具有前瞻性的研究:MortalComputation(有限计算)。在演讲中,他介绍了一种全新的计算结构,抛弃了传统的软硬件分离原则,并且不再使用反向传播来描述神经网络内部路径,以此实现智能计算。虽然演讲中涉及了一小部分技术方面的内容,但Hinton以他出色的教学水平,将最前沿的算法思想概念化并讲解得清晰易懂。他并没有使用复杂的术语,而是以简明扼要的方式阐述了最先进的算法思想。
以下为要点及实录
要点:
1、有限计算是一种与传统计算机设计原则相悖的新方法,它将软件与硬件分离。这种方法可以节省能源,并使用模拟计算来实现类似大脑的计算。
2、有限计算的挑战在于学习过程必须利用硬件的模拟属性,而不需要确切了解这些属性。传统的反向传播算法无法直接应用于模拟计算。
3、一种可能的学习算法是使用活动扰动,通过对神经元的输入进行随机扰动并观察目标函数的变化来更新权重。这种方法的效果与反向传播类似,但具有更高的方差。
4、蒸馏用于知识共享:蒸馏可以用于在具有不同架构的模型之间共享知识,尤其在模拟特性的生物模型中。蒸馏可以作为一种有效的知识分享方法,而不仅仅是共享梯度。
5、数字智能的学习效率:大型语言模型通过从文档中学习,以一种低效的方式获取知识。虽然每个副本的学习效率很低,但由于有多个副本,所以它们可以比人类学习更多。
6、超级智能的发展和潜在问题:一旦数字智能开始直接从现实世界学习,它们将能够比人类学习更多,并且学习速度更快。然而,这可能导致一系列问题,包括超级智能可能试图获得更多控制权以实现其目标,并且在与人类互动方面可能会存在困难。
以下为演讲实录:
我今天要谈的是使我相信超级智能比我想象的要近得多的研究。
所以我想谈两个问题,我将几乎完全