2024诺贝尔物理学奖两位获奖者,有何研究贡献?
2024诺贝尔物理学奖两位获奖者,有何研究贡献?
2024年诺贝尔物理学奖授予John J. Hopfield和Geoffrey E. Hinton,以表彰他们在使用人工神经网络实现机器学习方面的奠基性发现和发明。两位获奖者将平分1100万瑞典克朗(约合745万元人民币)奖金。
北京时间10月8日下午,瑞典皇家科学院宣布将2024年诺贝尔物理学奖授予John J. Hopfield和Geoffrey E. Hinton,"以表彰他们在使用人工神经网络实现机器学习方面奠基性发现和发明"。
诺贝尔奖评奖委员会表示:"今年的物理学奖得主的突破建立在物理科学的基础上。他们为我们展示了一种全新的方式,让我们能够利用计算机来帮助和指导我们,应对社会面临的许多挑战。"
委员会在宣布获奖时同时指出,机器学习"长期以来一直对科学研究至关重要,包括对大量数据的分类和分析……John Hopfield和Geoffrey Hinton利用物理学工具,构建了有助于为当今强大的机器学习奠定基础的方法。基于人工神经网络的机器学习目前正在彻底改变科学、工程和日常生活。"
Geoffrey Hinton
Geoffrey Hinton出生于1947年,二战后的英国温布尔登。他是逻辑学家George Boole的曾曾孙,George Boole的工作布尔代数(Boolean algebra)是现代计算机科学的基础之一。Geoffrey Hinton的父亲是英国昆虫学家Howard Hinton,叔叔是著名经济学家Colin Clark,国民生产总值(GDP)这个术语的提出者。
1978年,Geoffrey Hinton在爱丁堡获得人工智能博士学位。在卡内基梅隆大学任教五年后,他成为加拿大高等研究院的研究员,并进入多伦多大学计算机科学系任教,现为该系名誉教授。他于2013年3月加入谷歌,Vector研究所的首席科学顾问。
Geoffrey Hinton是英国皇家学会会士,也是美国国家工程学院和美国艺术与科学学院的外籍会员。他一生获得过诸多奖项,包括大卫・鲁梅尔哈特奖、 IJCAI卓越研究奖、 基廉工程奖(有"加拿大诺贝尔奖"之称的国家最高科学奖)、 IEEE Frank Rosenblatt奖、 NSERC Herzberg金奖、 IEEE詹姆斯・克拉克・麦克斯韦金奖、 NEC C&C奖、本田奖和图灵奖。
研究贡献
1986年,Geoffrey Hinton与David Rumelhart、Ronald J. Williams一起发表的论文介绍了用于训练多层神经网络的反向传播算法。实验表明,这样的网络可以学习有用的数据内部表征。
论文链接:https://www.nature.com/articles/323533a0
不过,Hinton认为自己不可担当"反向传播之父"这个称号。在2018年的一次采访中,Hinton表示"David E. Rumelhart提出了反向传播的基本思想,所以这是他的发明。"
追溯起来,学界普遍认可现代反向传播算法在1970年由芬兰硕士生Seppo Linnainmaa首次发表,Paul Werbos在1974年提出用它来训练神经网络。尽管Geoffrey Hinton并不是第一个提出这种方法的人,但他对推广反向传播起到了很重要的作用,也是第一个使用反向传播学习词嵌入的人。他对神经网络研究的其他贡献包括玻尔兹曼机器、分布式表示、时滞神经网络、专家混合、变分学习和深度学习。
2012年,Geoffrey Hinton在多伦多带领的研究小组实现了深度学习的重大突破,彻底改变了语音识别和目标分类。他与学生Alex Krizhevsk、Ilya Sutskever合作设计的卷积神经网络"Alexnet"以远超第二名的成绩在ImageNet 2012挑战赛夺冠,将ImageNet数据集上的视觉识别错误率降到了15.3%,仅有此前的一半。这成为了计算机视觉领域的里程碑事件。
2015年,为了纪念人工智能60周年,深度学习三巨头Yann LeCun、Yoshua Bengio、Geoffrey Hinton在Nature上发表了综述论文《Deep learning》:
论文链接:https://www.cs.toronto.edu/~hinton/absps/NatureDeepReview.pdf
卷积神经网络获得了巨大的成功,但也并不适合所有的任务。2017年10月和11月,Hinton发表了两篇关于胶囊神经网络主题的研究论文,提出了胶囊网络 (CapsNet) 作为CNN模型的替代。胶囊是深度学习的新概念,与CNN和传统的网络神经网络相比,它产生了不错的效果。CNN分类器在对抗干扰数据时并不稳健,而胶囊网络被证明对不良数据的适应力更强,而且还能适应输入数据的仿射变换。
2018年,Hinton与Yann LeCun和Yoshua Bengio一起获得了2018年图灵奖,以表彰他们使深度神经网络成为计算的关键组成部分的概念和工程突破。
在几十年的研究生涯中,Hinton称得上"桃李满天下"。他曾培养的知名学者包括:Peter Dayan、Sam Roweis、Richard Zemel、Brendan Frey、Radford M. Neal、Ruslan Salakhutdinov、Ilya Sutskever、Yann LeCun和Zoubin Ghahramani。
John Joseph Hopfield
约翰・约瑟夫・霍普菲尔德(John Joseph Hopfield)是一位美国物理学家,活跃于生物物理学和统计物理学领域。他于1982年提出的Hopfield网络是神经网络领域的经典模型。霍普菲尔德为该模型引入了精确的二值神经元和能量函数的概念,这是一种特别自关联网络,能够存储和搜索记忆。Hopfield网络被广泛用于解决组合优化问题、图像识别等任务,特别是在自联想存储和优化问题。
霍普菲尔德的神经网络模型开启了人们对大脑计算过程的研究,推动了计算神经科学的发展。他的神经理论解释了大规模处理如何在存储网络中实现稳定的记忆,启发了后来的深度学习研究。
霍普菲尔德1933年7月15日出生。在成长过程中,他表现出了对科学的兴趣,尤其是物理和数学。他获得了斯沃斯莫尔学院的学士学位,并于1958年在康奈尔大学获得物理学博士学位。在求学过程中,他对物理学的多个领域产生了浓厚的兴趣,这为他后来的跨学科研究奠定了坚实的基础。
霍普菲尔德的职业生涯足迹,涵盖了多个物理学、生物物理学和神经科学领域。他曾在多个顶尖学府任教和研究,包括普林斯顿大学、加州理工学院以及斯坦福大学。
霍普菲尔德早年主要研究固体物理,特别是光学性质和半导体材料。在20世纪70年代,霍普菲尔德转向生物物理学,提出了许多有助于理解生物分子的理论。最主要的是与雅克・尼尼奥同时引入了分子生物学校对的概念。