问小白 wenxiaobai
资讯
历史
科技
环境与自然
成长
游戏
财经
文学与艺术
美食
健康
家居
文化
情感
汽车
三农
军事
旅行
运动
教育
生活
星座命理

IBM研究报告揭示:AI风险管理正面临严峻挑战

创作时间:
作者:
@小白创作中心

IBM研究报告揭示:AI风险管理正面临严峻挑战

引用
安全内参
8
来源
1.
https://www.secrss.com/articles/75375
2.
https://www.secrss.com/articles/75402
3.
https://news.sciencenet.cn/htmlnews/2025/2/538648.shtm
4.
https://www.ibm.com/cn-zh/think/insights/ai-risk-management
5.
https://www.fxbaogao.com/detail/4531169
6.
https://www.jnexpert.com/report/detail?id=853
7.
https://www.dingxiang-inc.com/blog/post/778
8.
https://www.showapi.com/news/article/67a40a504ddd79f11a5d6dbf

IBM商业价值研究院最新研究显示,96%的领导者认为采用生成式AI更有可能造成安全漏洞,而只有24%的生成式AI项目得到了保障。这一数据揭示了AI风险管理正成为企业数字化转型中不可忽视的重要议题。

01

AI风险管理的四大挑战

AI风险管理是系统地识别、减轻和解决与AI技术相关的潜在风险的过程。根据IBM的研究,AI风险主要可分为四大类:

  1. 数据风险:AI系统依赖的数据集可能容易受到篡改、泄露、偏见或网络攻击的影响。常见的数据风险包括数据安全、数据隐私和数据完整性问题。

  2. 模型风险:威胁行为者可以针对AI模型进行盗窃、逆向工程或未经授权的操纵。主要风险包括对抗性攻击、提示注入、模型可解释性差和供应链攻击等。

  3. 运营风险:AI系统作为复杂代码和机器学习算法的产物,容易受到操作风险的影响。常见的业务风险包括模型漂移、可持续性问题、集成挑战和缺乏问责制等。

  4. 道德和法律风险:如果组织在开发和部署AI系统时不优先考虑安全和道德问题,他们就有可能侵犯隐私并产生有偏见的结果。常见的风险包括缺乏透明度、未能遵守监管要求、算法偏见和道德困境等。

02

AI风险管理的现状与挑战

国际人工智能安全报告(International AI Safety Report)于2025年1月29日正式发布,这是首份由30个国家专家参与的AI安全领域权威报告。报告指出,通用AI能力近年来迅速提升,但风险管理技术仍处于初期阶段。

报告显示,尽管AI技术带来了许多潜在益处,但同时也伴随着明确的危害,包括诈骗、非自愿亲密图像、儿童性虐待材料、模型输出偏见、可靠性问题以及隐私侵犯等。研究人员虽然开发了缓解这些问题的技术,但到目前为止,没有任何技术组合能够完全解决这些问题。

03

案例分析:DeepSeek的安全启示

中国AI初创公司DeepSeek的案例为我们提供了AI技术应用与风险管理的实践参考。DeepSeek采用的“专家混合”架构在同等算力下实现了更高性能,显著提升了模型推理效率。其低成本训练模式(DeepSeek-R1培训成本仅为600万美元)为中小企业提供了普惠价值。

然而,DeepSeek也面临着显著的安全风险。研究显示,DeepSeek-R1生成非法活动指导的概率是OpenAI o1的11倍,在78%的代码攻击测试中生成恶意脚本的概率比同类模型高4倍。这表明,即使是最先进的AI系统,如果缺乏适当的安全防护,也可能成为潜在的安全威胁。

04

全球合作与未来趋势

面对AI技术的快速发展和潜在风险,全球合作显得尤为重要。国际人工智能安全报告强调,政策制定者需要在没有大量科学证据的情况下权衡即将到来的AI进展的潜在益处和风险。这要求各国在风险管理方法上进行标准化和国际合作。

未来,AI风险管理将呈现以下趋势:

  1. 技术与治理双管齐下:既需要开发更先进的安全技术,也需要建立完善的治理体系和法规框架。

  2. 标准化与国际化:风险管理方法的标准化和国际合作将成为重要趋势,以应对AI技术的跨国界影响。

  3. 持续迭代与更新:随着AI技术的快速发展,风险管理方案也需要持续迭代更新,以应对新的威胁和挑战。

  4. 多方参与与协同:政府、企业、研究机构和国际组织需要共同参与,形成多方协同的风险管理机制。

AI技术的快速发展带来了前所未有的机遇,但同时也伴随着不容忽视的风险。通过建立系统化的风险管理框架,加强全球合作与治理,我们才能在享受AI技术红利的同时,有效应对潜在的安全挑战。

© 2023 北京元石科技有限公司 ◎ 京公网安备 11010802042949号