25位顶级科学家警告：AI风险管控刻不容缓

25位顶级科学家警告：AI风险管控刻不容缓

引用

techxplore

等

9

来源

1.

https://techxplore.com/news/2024-05-world-leaders-ai-experts-safety.html

2.

https://www.sciencedirect.com/special-issue/315445/special-issue-on-ai-ethics-governance-and-risk-management-ai-open

3.

https://www.sciencedirect.com/journal/risk-sciences

4.

https://www.dentons.com/en/insights/articles/2025/january/10/global-ai-trends-report-key-legal-issues-for-2025

5.

https://riskandinsurance.com/3-generative-ai-predictions-for-the-risk-management-industry-in-2025/

6.

https://pluribusnews.com/news-and-events/ai-legislation-drive-in-states-will-accelerate-in-25/

7.

https://www.ox.ac.uk/news/2024-05-20-world-leaders-still-need-wake-ai-risks-say-leading-experts-ahead-ai-safety-summit

8.

https://www.ey.com/en_gl/newsroom/2025/01/better-risk-management-key-for-government-success-in-2025

9.

https://www.trinetix.com/insights/ai-in-risk-management-building-stronger-resilience-in-2025

近日，《科学》杂志发表了一篇关于人工智能风险的重要论文，25位全球顶级AI科学家联合呼吁各国政府加强人工智能风险管控。他们指出，随着科技企业的竞争加剧，超级人工智能的发展速度迅猛，但相应的安全管理措施却相对滞后。

专家警告：AI风险应对不足

这篇由25位顶级AI科学家联名发表的论文，首次就先进AI系统的风险问题达成了国际共识。专家们警告称，尽管各国领导人在去年的AI安全峰会上承诺将负责任地管理AI，但实际进展却远远不够。

牛津大学工程科学系教授菲利普·托尔（Philip Torr）表示：“上次AI峰会时，世界已经同意我们需要行动，但现在是时候从模糊的提议转向具体的承诺了。这篇论文为公司和政府提供了许多重要的建议。”

四大政策建议应对AI风险

针对AI风险，专家们提出了以下四大政策建议：

1. 建立专门监管机构：专家建议各国政府建立快速行动的AI监管机构，并提供远超现有计划的资金支持。以美国为例，目前AI安全研究所的年度预算仅为1000万美元，而食品药品监督管理局（FDA）的预算则高达67亿美元。

2. 加强AI安全研究：当前AI安全研究严重不足，相关论文占比仅为1-3%。专家呼吁大幅增加对AI安全研究的投入，以应对潜在的技术风险。

3. 防止滥用和鲁莽行为：需要建立相应的机制和机构，防止AI系统的滥用，特别是那些能够独立采取行动和追求目标的自主系统。

4. 明确AI系统的能力范围：必须清晰界定AI系统的目标和能力边界，确保其行为始终符合人类利益。

全球合作迫在眉睫

专家们强调，考虑到AI技术可能在本十年或下一个十年内实现突破性进展，全球领导人必须认真对待这一可能性。然而，目前各国政府的应对措施与专家预期的快速、变革性进展相比，显得严重不足。

呼吁建立统一标准

为应对AI风险，专家们呼吁制定国际统一的安全和伦理标准，提高AI系统的透明度和可解释性。同时，还需要开发可靠的对齐和控制机制，确保AI目标始终符合人类利益。

这项由25位顶级AI科学家联名的呼吁，凸显了AI风险管控的紧迫性。随着技术的快速发展，如何平衡AI创新与安全，已成为全球共同面临的重大挑战。