Ilya Sutskever精选AI领域40大论文完整版「破解」完成

Ilya Sutskever精选AI领域40大论文完整版「破解」完成

今年5月，一份网传OpenAI联合创始人兼首席科学家Ilya Sutskever整理的机器学习研究文章清单火遍全网。这份清单据称是2020年Sutskever为id Software联合创始人John Carmack准备的AI学习资料，虽然其真实性无法考证，但其内容的权威性和专业性使其迅速流传开来。最近，一位名为Taro Langner的网友根据Sutskever的公开演讲和资源，补充完成了这份"覆盖AI领域90%知识"的论文名单。

缺失的"元学习"板块

现在的AI系统可以通过大量时间和经验从头学习一项复杂技能。但是，我们如果想使智能体掌握多种技能、适应多种环境，则不应该从头开始在每一个环境中训练每一项技能，而是需要智能体通过对以往经验的再利用来学习如何学习多项新任务，因此我们不应该独立地训练每一个新任务。

这种学习如何学习的方法，又叫元学习（meta-learning），是通往可持续学习多项新任务的多面智能体的必经之路。

Ilya Sutskever担任OpenAI首席科学家时曾发布教育资源"Spinning Up in Deep RL"，并公开发表过几次关于"元学习"的演讲：

• Meta Learning and Self Play - Ilya Sutskever, OpenAI (YouTube), 2017
• OpenAI - Meta Learning & Self Play - Ilya Sutskever (YouTube), 2018
• Ilya Sutskever: OpenAI Meta-Learning and Self-Play (YouTube), 2018

Taro Langner据此推测原始清单应该包含以下几篇研究论文：

• 《Meta-Learning with Memory-Augmented Neural Networks》
  论文地址：https://proceedings.mlr.press/v48/santoro16.pdf

• 《Prototypical Networks for Few-shot Learning》
  论文地址：https://arxiv.org/abs/1703.05175

• 《Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks》
  论文地址：https://proceedings.mlr.press/v70/finn17a/finn17a.pdf

值得注意的是，Ilya Sutskever在上述"元学习"演讲中，还提到了以下几篇论文：

• 《Human-level concept learning through probabilistic program induction》
  论文地址：https://amygdala.psychdept.arizona.edu/labspace/JclubLabMeetings/Lijuan-Science-2015-Lake-1332-8.pdf

• 《Neural Architecture Search with Reinforcement Learning》
  论文地址：https://arxiv.org/pdf/1611.01578

• 《A Simple Neural Attentive Meta-Learner》
  论文地址：https://arxiv.org/pdf/1707.03141

可以发现，强化学习（RL）在演讲中也占有重要地位，因为强化学习与元学习有着密切的联系。一个关键概念是竞争性自我博弈，其中智能体在模拟环境中进行交互以达到特定的目标。

Ilya Sutskever提出了一种进化生物学观点，将竞争性自我博弈与社交互动对大脑大小的影响联系起来。根据他的判断，在模拟的"智能体社会"中快速获得能力最终可能会为某种形式的通用人工智能提供一条可行的道路。

考虑到他赋予这些概念的重要性，一些被引用的有关自我博弈的论文也可能被纳入阅读清单：

• 《Hindsight Experience Replay》
  论文地址：https://arxiv.org/abs/1707.01495

• 《Continuous control with deep reinforcement learning》
  论文地址：https://arxiv.org/abs/1509.02971

• 《Sim-to-Real Transfer of Robotic Control with Dynamics Randomization》
  论文地址：https://arxiv.org/abs/1710.06537

• 《Meta Learning Shared Hierarchies》
  论文地址：https://arxiv.org/abs/1710.09767

• 《Temporal Difference Learning and TD-Gammon ，1995》
  论文地址：https://www.csd.uwo.ca/~xling/cs346a/extra/tdgammon.pdf

• 《Karl Sims - Evolved Virtual Creatures, Evolution Simulation, 1994》
  论文地址：https://dl.acm.org/doi/10.1145/192161.192167

• 《Emergent Complexity via Multi-Agent Competition》
  论文地址：https://arxiv.org/abs/1710.03748

• 《Deep reinforcement learning from human preferences》
  论文地址：https://arxiv.org/abs/1706.03741

其他可能性

当然，原始的40篇论文名单上可能还有许多其他作品和作者，但从现在开始，证据越来越薄弱了。

总体而言，目前补充完整的论文名单在涵盖不同模型类别、应用和理论的同时，还涵盖了该领域的许多著名作者，端水端得已经挺稳了。但显然，还有很多重要内容值得注意。

我们似乎可以继续列入：

• Yann LeCun等人的工作，他在CNN的实际应用方面做出了开创性的工作 ——《Gradient-based learning applied to document recognition》

• Ian Goodfellow等人的工作，他在生成对抗网络（GAN）方面的工作长期主导了图像生成领域 ——《Generative Adversarial Networks》

• Demis Hassabis等人的工作，他在AlphaFold方面的强化学习研究获得了诺贝尔奖 ——《Human-level control through deep reinforcement learning》、《AlphaFold at CASP13》

在更多信息公布之前，这篇文章在很大程度上仍是推测性的。毕竟，原版的"Ilya阅读清单"本身也从未得到官方证实是真的。尽管如此，你可以看出目前补充好的列表是绝对具有含金量的。总之让我们先填补好空白，用作者的话来说，这大致相当于当时缺失了"重要内容的30%"。

参考内容：
https://tensorlabbet.com/2024/11/11/lost-reading-items/
https://www.reddit.com/r/MachineLearning/comments/1grti0x/d_the_lost_reading_items_of_ilya_sutskevers_ai/