刘永谋：AI是否导致人类灭绝，要看我们如何发展和运用AI
刘永谋：AI是否导致人类灭绝，要看我们如何发展和运用AI
AI划重点：全文约1393字，阅读需4分钟
- 中国人民大学教授刘永谋表示，人工智能的发展是否导致人类灭绝，取决于我们如何发展和运用AI。
- AI的生存性风险包括AI灭绝和AI衰退，如AI核武器失控和AI机器国导致文明衰退。
- 为应对智能文明危崖，需要在技术进步、人性提升和制度创新等方面努力奋斗。
- 其中，传播技术控制的选择论、坚持AI发展的有限主义进路以及建立全球技术治理组织和机制等都是有效策略。
- 同时，大力进行AI相关的人文研究和教育，发挥技术民主化的作用，及时应对新科技的技术风险和社会风险。
21世纪以来，很多思想家都开始关切：当下的文明是否存在全局性的崩溃，甚至灭绝的生存性风险，使得人类社会如跌下悬崖一般，突然陷入黑暗甚至永夜之中？这便是近来尤其全球新冠疫情爆发之后，全球广为讨论的“文明危崖问题”。一些人认为，AI发展可能触发当代社会的生存性风险，导致人类文明跌下文明危崖。
AI时代的文明危崖问题
何为文明危崖？何为生存性风险？文明危崖问题在AI时代备受关注，与新科技发展尤其是智能革命紧密相关，亦与全球性问题演变为全球性灾难相关。
在气候变化争论中，生存性风险导致文明危崖的观点，被越来越多的人接受。尤其是全球新冠疫情爆发，更是使得知识界开始严肃认真地反思生存性风险。生存性风险指的是能够摧毁人类文明发展潜力的风险，它可能彻底灭绝人类，或者使文明不可恢复地崩溃或衰败。
至于人工智能的进化，至少有两个问题直接与文明危崖相关：第一，AI特别是超级AI会不会总体上威胁人类文明？第二，对于全局性生存性风险的应对，AI是否能够有所助益，还是只能加剧潜在的危险？
随着人类进入智能社会，生存性风险不断在上升。很重要的原因在于，AI的发展并没有被用于应对生存性风险的应对。
人工智能的生存性风险
AI的生存性风险可以分为如下两类：1）AI灭绝，即AI可能灭绝人类；2）AI衰退，即AI可能导致文明衰退。总的来说，虽然在流行文化尤其是科幻文艺中，类似的问题非常“吸睛”，但是严肃的思想家并不太关注，或者说认为“文明的AI危崖”远比不上气候变化、核大战和新发未知病毒等的威胁。
AI灭绝问题。包括两种情况：AI武器失控，尤其是AI核武器失控灭绝人类；超级AI失控，尤其是SAI灭绝人类。在《超级智能》中，波斯特洛姆设想，制造回形针可能是某个超级AI的终极目标，因而可能会实施将整个宇宙都变成回形针工厂的计划，人类在其中因毫无用处便被机器人灭绝。在《生命3.0》中，泰格马克设想，超级AI在灭绝人类的过程中可能会留下极少数，把他们关在动物园中与其他动物共同展览。
AI衰退问题，典型的是“AI机器国”，本质上是AI的专制滥用。在技术治理理论中，该问题颇为引入注目。AI机器国是一座监狱，无处不在的监视、无处不在的控制充斥其中。从本质上说，AI机器国反人类、反人性，将AI用作操控人类的工具，导致文明陷入黑暗之中。
积极应对智能文明危崖
应对文明危崖，然后需要有所行动，同时在技术进步、人性提升和制度创新等各个方面努力奋斗。因新科技发展引发的文明危崖，人类从来没有面对过，没有应对的经验和教训，只能是“摸着石头过河”，不断在实践中学习和进步，创造性地应对新问题，及时反馈信息、纠正错误，持续更新应对策略和方案。显然，在其中，AI必须也能够有所贡献。
传播技术控制的选择论，努力控制AI的发展，警惕通用AI、超级AI的研发。
坚持AI发展的有限主义进路，反对技术至上、唯利是图的自由主义进路，着力将AI应用于生存性风险的应对实践中。
建立全球技术治理的相关组织和机制，全球性研究、全球性协调、全球性应对，否则可能徒劳无功。
大力AI相关的人文研究和教育，预测新科技的技术风险和社会风险，未雨绸缪，防患于未然，以人文力量平衡新科技发展的力量。
鼓励各方面力量关心和参与AI的发展工作，发挥技术民主化的作用，即时听取各利益相关方的反馈意见，妥善处理已经暴露出来的问题，为新科技应用、推广和落地保驾护航。
“技术控制的选择论”“AI发展的有限主义”“全球技术治理”，均为我们提出的理论。而科学与人文融合、技术民主化的讨论，由来已久，关键是如何具体落实到智能文明危崖问题中。