大模型预训练时代即将终结！AI巨佬Ilya最新顶会演讲全程
大模型预训练时代即将终结！AI巨佬Ilya最新顶会演讲全程
AI领域的权威人物Ilya在深度学习顶会NeuralPS2024上发表主题演讲，引发广泛关注。他不仅断言大模型的核心"预训练"机制即将走向终结，还对未来AI的发展方向提出了独到见解。
深度学习的早期假设
十年前，Ilya和他的团队提出了一个大胆的假设：如果一个神经网络拥有十层，它就能够在一瞬间完成任何人类能够完成的任务。这个假设基于深度学习的核心理念，即人工神经元与生物神经元在某种程度上是相似的。由于生物神经元的处理速度相对较慢，因此如果人类能够在一瞬间完成某项任务，那么一个足够大的神经网络理论上也应该能够做到。
Ilya回顾了十年前他们在NeurIPS会议上提出的关于自回归模型的一些观点。当时的一些观点是正确的，但也有观点是错误的。正确的观点是自回归模型能够捕捉序列的正确分布，而错误的观点则是流水线并行化是明智的。
预训练时代的终结
Ilya在演讲中深入探讨了"预训练时代"，这是一个深度学习领域取得巨大进步的时期。预训练时代的核心是使用超大型神经网络在海量数据集上进行训练，然后再针对特定任务进行微调。这种方法极大地提高了模型的性能，并在自然语言处理、计算机视觉等领域取得了突破性进展。GPT模型系列就是预训练时代最具代表性的成果。
但是，Ilya认为，预训练时代即将走向终结。虽然计算能力通过更好的硬件、更好的算法和更大的集群在增长，但数据量却没有相应的增长。他将数据比喻为人工智能的"化石燃料"，认为我们已经达到了数据的巅峰，再也不会有更多的数据。
预训练时代终结的原因主要有两个：
- 数据量增长停滞：计算能力的提升速度远超数据量的增长速度。
- 数据是有限资源：我们只有一个互联网，可用的数据总量是有限的。
预训练时代结束后，深度学习将走向何方？Ilya提出了几种可能性：
- 代理（Agents）：代理可以自主学习和行动，有望成为深度学习的新突破口。
- 合成数据：合成数据可以弥补真实数据不足，但如何生成高质量的合成数据是一个挑战。
- 推理时间计算：推理时间计算可以提高模型的效率和灵活性。
- 从生物学中汲取灵感：生物系统，特别是人脑的运作机制，可以为深度学习提供新的启示。
超智能：深度学习的终极目标？
Ilya在演讲中谈到了超级智能的概念，并认为这是深度学习发展的终极目标。虽然他没有详细阐述超级智能的定义和实现路径，但从他的演讲中，我们可以总结出他对超级智能的一些理解：
- 与人类智能有质的区别：超级智能并非简单的人类智能的增强版，而是拥有全新的能力和属性。这就像类人猿的大脑进化与其他哺乳动物的显著差异一样，超级智能也可能以一种我们无法预见的方式超越人类智能。
- 具备强大的代理能力：超级智能将不再是被动的信息处理系统，而是能够主动地进行推理、规划和行动。他们将能够理解和处理复杂的现实世界问题，并做出自主的决策。
- 拥有自我意识：Ilya认为，超级智能可能会发展出自我意识，这将使其拥有更强大的学习和适应能力。自我意识也将使超级智能能够更好地理解人类和其他智能体，并与之互动。
Ilya并没有给出超级智能何时会出现的具体时间，但他认为这只是一个时间问题。他强调，我们应该认真思考超级智能带来的挑战，例如：
- 超级智能的不可预测性：超级智能的推理能力将远超人类，其行为和决策将变得难以预测。
- 如何控制超级智能：如何确保超级智能的行为符合人类的利益和价值观，是一个至关重要的问题。
- 超级智能与人类的关系：超级智能的出现将重新定义人类在宇宙中的位置，我们需要思考如何与超级智能共存。
结语
Ilya的演讲引发了人们对AI未来发展的深入思考。虽然预训练时代即将终结，但AI的发展不会停止。相反，它将进入一个全新的阶段，带来前所未有的机遇和挑战。正如Ilya所说，"这只是一个时间问题"，我们每个人都需要认真思考如何应对即将到来的超级智能时代。