哈佛学生预测：AGI三年后实现，26年人类工作被AI接管

哈佛学生预测：AGI三年后实现，26年人类工作被AI接管

一位哈佛大学AI专业大四学生基于其参与的多个小型研讨会和AGI兵棋推演，给出了一个令人震惊的预测：AGI将在三年内实现，到2026年，大部分人类工作将被AI接管。这一预测引发了广泛讨论，让我们一起来看看这位学生的具体分析。

这位哈佛学生给出的预测并非空穴来风。在做出预测之前，他主持了多个缩短AGI时间表的小型研讨会，汇集了约50名参与者的智慧，并参与和领导了多场短期的AGI兵棋推演。他的分析主要集中在以下几个方面：

3年AGI时间表

• 到2025年6月底：SWE-bench（软件工程基准测试）将达到约85%，在限定人力预算的情况下，RE-bench（软件重构基准测试）将达到1.1，超过8小时人类得分的70个百分位。
• 到2025年底：AI助手将能够胜任大多数需要2小时完成的真实世界软件工程任务。AGI公司的员工在完成小型公关任务或编写小型数据分析管道时，会优先寻求AI助手的帮助。
• 到2026年底：AI智能体将能胜任多天的编码任务。AGI公司的员工将意识到，能在95%的虚拟工作中击败人类的AI将在两年内创造出来，超级智能也会很快出现。政府将意识到AI对国家实力的决定性影响，并在2026年锁定AGI公司，采取近乎国有化的极端政府管理形式。
• 从2027年开始：AGI公司的大部分高质量劳动力将由AI智能体组成。领导层的主要决策将集中在如何将数百万AI智能体分配到不同的研究领域，如AI研发、安全、商业应用、军事应用等。

基准预测

3年时间表下的基准预测显示，OSWorld和CyBench排名不高的很大一部分原因，是作者不确定人们是否会报告这些基准测试的结果。鉴于基准结果与现实世界影响之间存在巨大脱节，暂时认为这种实际情况并不能成为3年时间表的有力证据。

基于年份的变量

前自动化时代（2025-2026年）

• 主要问题：集中在如何分配人力，以及AI实验室和供应链其他环节所面临的商业和监管压力上。
• 首要任务：迅速找到安全的方法，将研究工作委托给AI智能体。任何以安全为导向的研究，主要就是为了控制这些早期智能体，因为它们之后会自主进行研究。
• 必做之事：找到方法来判断当前的安全干预是否足够，是否足以防止大量AI智能体背着人类密谋一些不良行为。需要建立一个中止系统，而且在无法证明安全性的时候，也能说服他人暂停。

后自动化时代（2027 年以后）

• 主要问题：集中在AI智能体的分配及其被赋予的优先事项。到2028年底，人类已无法在技术研究方面做出贡献。
• 重要问题：
  1. AI智能体所追求的总体研究计划有多好？例如，如果最初负责规划研究方向的人类对AI安全问题本质上存在误解，即使AI智能体最初是善意的，模型对齐的希望也可能因此破灭。
  2. 公司在安全导向研究上投入了多少资源？比如，是投入0.1%还是25%的算力用于安全研究，可能会对安全工作的成败产生巨大影响。

重要玩家

• AGI公司领导者：引导着AGI公司的大方向。
• 安全研究人员：
• 内部人类AI安全研究员：负责制定前自动化和后自动化时期的研究计划，并完成大部分将在前自动化实施的安全研究。他们还监督自动化的安全研究员的工作。
• 内部自动化AI安全研究员：完成自动化时代大部分已实施的安全研究。
• 外部人类AI安全研究员：进行前自动化的研究，其中只有一小部分会被内部采纳实施。他们还从外部对前自动化和后自动化研究计划的公开部分进行批评和审查。然而，由于国家安全原因，公共知识与私有知识之间的差距将在自动化后扩大，他们可能在这一阶段变得无关紧要。
• 美国政府：其他国家政府、美国人工智能安全机构（AISI）或其他政府机构、智库、高地位科学家以及公众，对AGI公司施加压力和影响。在AGI阶段（很可能在超级智能之前），这些公司可能就会国有化或者监管。
• 落后的AGI公司：会被施加竞争压力，并设定安全先例。最终，它们可能会与主要AGI项目合作或被收购。如果不合作或未被主要AGI项目收购，则很可能在超级智能出现之前，它们的大部分算力会被征用。
• 不良行为者：会试图窃取、滥用AI技术。

目前尚未满足的人类生存先决条件

一个合理的启动计划

目前，AGI公司缺乏明确的愿景，无法安全地将研究工作交给AI智能体。具体表现在：

• 对齐方法：各公司尚未公开制定默认计划，明确应将哪些研究领域分配给AI智能体群体。
• 算力承诺：即使有合理的对齐方法，缺乏明确的算力分配承诺，也可能导致分配给对齐工作的AI智能体和算力比例不足。
• 前沿安全框架：关于SL-4和SL-5的要求和承诺目前非常不清晰，在启动阶段存在大量偷工减料的可能性。
• 控制：安全地将工作交给AI智能体（或判断其是否安全）的科学方法，仍然很不成熟。

国家级网络安全保障

如果不良行为者能够窃取先进AI系统的参数权重，他们的滥用行为可能就会导致局势变得极其不可预测，同时也可能使更不谨慎的实体得以创造出先进的AI系统。

应对全球紧张局势的方法

AGI的诞生，将扰乱各国之间的军事力量平衡，可能使某个实体获得决定性的战略优势。作者认为，未来10年内爆发核战争的概率约为15%，这主要归因于默认情况下启动阶段所引发的极端紧张局势。因此，找到避免核战争的方法至关重要。

正确实施国有化

• 把握时机：如果国有化发生得太晚（例如在AGI之后），项目中可能会因随之而来的混乱和快速变化而产生糟糕的决策。
• 制定默认计划：2025年或2026年可能会出现锁定实验室的重大政治意愿。如果届时还没有合理的默认计划或路线图，那么这个计划可能在许多方面都不是最佳的，而且制定的人缺乏相关的专业知识。
• 积累政治资本：如果具备相关专业知识的人没有被重要决策者所熟知，那么缺乏相关专业能力的人，可能就会被任命为项目领导人。
• 在国有化过程中保留安全专家：如果国有化的推进驱逐了所有AI安全专家，项目可能会因缺乏技术专长而无法使其模型足够安全。至于哪些人会被保留，很大程度上取决于领导层和以能力为导向的员工是否重视安全问题，而这又很大程度取决于是否建立了对安全问题的共同认知。

稳妥的优先行动

加入那些对未来发展有重要影响的机构

想想你希望被谁雇佣，以及你还差多少能力、条件才够格。如果你正在外部从事研究，记得将研究方向的重要性乘以研究成果在内部实际实施的概率。一个简单的判断标准是，研究是否有可能被分享到内部的Slack上。在严格的政府监督下，内部研究可能需要某种形式的安全许可。因此，避免吸毒、避免负债、远离可疑人士，减少不必要的对外接触。

帮助为重要角色提供信息

许多关键角色，都希望从对AGI和AGI安全有深入思考的人那里获得建议。当他们有问题时，他们是否会首先想到联系你？

制定实际计划

逐年制定计划是一个不错的方法——例如，计划在2025年底、2026年底、2027年底之前完成什么。

记住关键时限

只有在AGI出现之前必须完成的事情才是最重要的，因为AGI可以完成其他事情。作者承认，现在对较长时间线的预测有一些赌注的成分，但他认为，跟20年AGI时间线下的潜力相比，这些事情的优先级应该被适当降低。另外，在AGI出现后，可能会有约一年的「人机共存」时期。但作者认为这不是一个重要的因素，因为目前还不清楚它会带来什么独特的影响。

让一切加速

如果你的计划是「我将做X，以便以后做Y」，那不如现在就开始做Y。如果你的计划是「我将为一家不相干的ML公司工作一年，以获得进入AGI公司的资历」，可以考虑直接申请AGI公司，或者采取其他措施，加速这一行动。

进行相应的投资

如果AGI在三年内到来，这对你该如何构建投资组合可能会产生重大影响，因为某些投资与这一预测的相关性远高于其他投资。资金可能在启动阶段被用于快速涌现的机会，以引导事态发展，但如果人类在ASI之后幸存下来，目前尚不清楚资金还能有何用途（从先验来看，财产权可能会在一定程度上受到尊重）。

培养适应力和韧性

随着时间的推移，世界会变得越来越快。此时，保持冷静和理智将对做出明智决策至关重要，而这种能力也会变得日益稀缺和宝贵。

• 花时间思考未来，以及你在其中的位置
• 如果事实跟你预测的方向有出入，与其感叹「天啊，这个世界太混乱了！」，不如换一个更有用的视角：「虽然我在细节上可能错了，但这与我预测的某些可能分支大致吻合，我已经思考过如何在这些情况下行事。」
• 通过这种方式，你的一部分初步思考可以由现在的自己完成，减轻未来的自己的负担。这不仅在智力上有助于分担负担，更重要的是，它能在情感层面减少可能的惊讶或恐慌——已知的未知远比未知的未知让人压力小得多。
• 不要忽视健康：虽然你可能会觉得，现在适合多奋斗，比以前多工作几个小时，但如果想在启动阶段明智地应对局势，我们的身体需要保持良好的状态。可持续性很重要，无论是3年还是10年的时间跨度，都需要养成类似的健康习惯。

最后的思考

虽然思考AGI的短期时间线可能会让人倍感压力，但这不应被视为时间线很长的证据。如果你是基于10年或20年的时间线制定了当前计划，现在很可能需要在许多方面调整、加速。以短时间线为基础进行规划的一个优势是，大部分关键因素目前已经基本到位，因此比起规划10年后的未来要容易得多。我们需要对如何让AGI顺利发展有较清晰的认识。让我们行动起来，实现这一目标。

参考资料：
https://www.lesswrong.com/posts/jb4bBdeEEeypNkqzj/orienting-to-3-year-agi-timelines