中国AI算力行业发展报告
中国AI算力行业发展报告
AI算力作为人工智能发展的核心驱动力,近年来呈现出爆发式增长态势。从技术突破到产业应用,从政策支持到基础设施建设,AI算力正在为各行各业的智能化升级提供强大支撑。本文将从多个维度深入分析中国AI算力行业的发展现状和未来趋势。
霖
时代动力:AI新世代繁荣的发动机
纵观AI发展,算法的技术突破拉动了算力的需求:
- 2015-2016年左右开启了大模型时代,整体的训练计算量较之前的时期大2到3个数量级。
- 从2022年底,随着ChatGPT成功带来大规模参数通用大模型相继发布。这些大模型的训练需要千亿、甚至万亿级参数,以及上千GB的高质量数据,大模型的训练迭代将极大地拉动了智能算力的需求。
2012-2023年算力需求翻了数十万倍,AI算力需求远超摩尔定律,大模型对算力的需求每年持续增长,未来10年AI算力需求将再增长500倍。
- 深度学习时期之前,训练计算算力需求缓慢增长,算力翻倍需要21.3个月
- 模型规模指数级增长推动算力需求爆发
- 2010前
- 2010-2022 N=121
- 深度学习不断取得进展,算力翻倍仅需要5.7个月,所需算力量级由TFLOPs增至EFLOPs
训练算力(FLOPS)需求与人工智能发展关系图
1e+4
1e+3
1e+2
1e+1
AlphaGoZero
NeuralMachineTranslation
GPT-3
AlphaZero
TI7Dota1v1
GPT-4
ChatGPT
训练算力需求
FLOPS
1e+0
1e-1
1e-2
VGG
VisualizingandUnderstandingConvNets
Xception
DeepSpeech2ResNets
Seq2Seq
GoogleNet
1e-3AlexNet
1e-4
201220132014201520162017201820192020202120222023
无论是训练还是推理,大模型的爆发引发全球算力需求的指数级增长:
- 技术层面上,基础模型通过迁移学习(TransferLearning)和规模(scale)得以实现;Transformer的应用标志着基础模型时代的开始(基础模型的庞大规模和应用范围突飞猛进),模型参数量指数级增长,带动算力超过摩尔定律。
- Sora等视频生成类模型相较于大语言模型消耗的算力提升20倍。随着海量数据的积累,大模型需要处理的数据量也在不断增长,进一步加剧了对算力的需求。
Transformer结构对于基础模型训练算力需求的推动作用推理消耗算力对比(单位:FLOPS)
1e+09
1e+08
PFLOPs
1e+07
1e+06
1e+05
1e+04
1e+03
1e+02
1e+09
1e+08
PFLOPs
1e+07
1e+06
1e+05
1e+04
1e+03
Transformer
基于Transformer结构算
法训练所需算力短时间内
激增,远超摩尔定律
1025
1023
1021
1019
1017
1015
Sora(1minideo)
GPT4(10000texttokens)
DiT-XL/2ImageGeneration(512x512pximages)
1e+02
基于Transformer结构算法与时间的关系摩尔定律与时间的关系
0.00.20.40.60.81.0
AI产业快速发展为AI算力市场带来新机遇:
- 从产业规模看,全球人工智能快速增长。2023年全球人工智能市场收入达5381亿美元,同比增长18.5%,到2026年市场规模将达9000亿美元。
- 从投融资看,2024年Q1全球AI领域完成1779笔融资交易,筹集的风险投资总额达216亿美元。
- 从企业发展看,全球人工智能呈现“中美主导”格局。截至2023年三季度,全球人工智能企业有29542家。美国有9914家,占比为34%;中国有4469家,占比为15%;中美人工智能企业数占全球总数约49%。
图1:2022-2026年全球AI市场规模(单位:亿美元)图2:全球AI领域投融资情况(单位:亿美元)图3:全球AI企业数量国家分布
10000
9000
8000
7000
6000
5000
4000
3000
2000
1000
4541.2
5381.3
6382.3
7575.8
9000
1600
1400
1200
1000
800
600
400
200
789
1495
1022
900
216
34%15%
6%5%4%36%
美国中国英国印度加拿大其他
0
202220232024E2025E2026E
0
20202021202220232024Q1
资源“三剑客”中,算力承接算法及数据,成为AI产业发展基石:
- 在现代人工智能领域,算力扮演着推动创新、实现突破的核心驱动力。算力、算法、数据和系统架构等多个方面的综合优化对于大规模模型训练的成功至关重要。从技术层面看,在大模型的研发过程中,预训练、微调和模型推理等环节是核心关键因素和主要计算特征。
算法
跨模态融合
数据
数据巨量化
算力
AI
内容创造力
数据层面
算力层面
硬件算力
算法层面
核心技术突破
多模态认知计算
感知+交互
数字孪生虚拟现实
全息立体应用场景
高精度训练集
大数据语料库
投喂
大参数
大算力
大数据量
模型类型
1750亿
3640(Pflops-day3)/上万块V100 GPU组成gao带宽集群算力
超过万亿单词的人类语言数据集
多模态预训练模型结合人类参与强化学习
多模态预训练模型
174万亿(与人脑中
突触数量媲美)
“海洋之光”超级计算机(国产超
算)
中文多模态数据集
M6-Corpus
10万亿
512块GPU
1.9TB图像292GB文本
万亿
腾讯太极机器学习平台
五大跨模态视频
检索数据集
千亿
鹏城云脑Ⅱ和全场景AI计算
框架MindSpore,2048块
GPU
40TB训练数
据
10亿
16块GPU
数百G级别不同领
域的高质量语料
5300亿
280块GPU
3390亿条文本数据
2600亿
鹏城云脑Ⅱ(2048块CPU)和百度飞桨
纯文本和知识图谱的4TB语料库
2457亿
4095(Pflops-day)/2128张GPU
5000GB高质量中文数据集
100亿
商汤AIDC,峰值算力
3740Petaflops3
300亿千亿
昇腾AI基础软硬件平台
基于万条小规模数据
集
百亿
复旦大学超算中心
企业
OpenAI
清华大学等1
阿里腾讯
华为云
澜舟
微软和英伟达百度和鹏程实验室
浪潮信息
商汤科技等
商汤科技
中科院自动化
所
复旦大学
大模型
GPT3.5
“八卦炉”(脑级AI模型)
M6
“混元”HunYuan_tvr
盘古系列大模型
孟子
Megatron-Turing
ERNIW3.0Titan
源1.0书生(INTERN+)
某视觉模型
紫东太初
MOSS
本地化
当下的时代机遇:大规模模型的摩尔定律-单模型参数量每年增长10倍
实时算力
训练标注
计算任务
云计算
智能交互
边缘计算
NLP大模型NLP大模型NLP大模型计算机视觉模
型
计算机视觉模
型
图、文、音三模态对话式大型语言模型
www.jazzyear.com
千行百业ALLInAI,算力成为智能化升级的核心支撑:
- AI快速发展正在推动各行业的数智化转型,大模型为千行百业提供了创新解决方案。通用大模型侧重发展通识能力,行业/场景大模型侧重发展专业能力,模型赋能行业有效的提升了效率、降低成本及优化决策过程。
- 算力支撑成为了AI产业发展的关键,也是实现AI技术在各行业广泛应用的基础。目前大模型在广告、传媒、教育、金融等领域快速落地应用,AI算力与各行业深度融合,将加速产业升级和数字化转型进程。
图1:大模型赋能各行各业图2:主要行业大模型应用阶段示意图
场景模型及应用
推荐搜索智能客服代码生成智能风控
自动定价自动驾驶智能监控智能调度场景
教学和评分助手智能医学影像智能药物研发……数据
目标市场渗透率
100%
行业模型
广告传媒金融零售交通行业
政务教育医疗工业……数据
基础模型通识
NLPCV多模态科学计算预测……数据
算力基础设施
0%
AI芯片AI服务器智算中心云服务智算一体机……
农业能源
广告软件
教育传媒
金融游戏
出行
医疗
建筑电商制造
发展阶段
探索孵化期试验加速期采纳成长期落地成熟期
数字基础设施加快建设,智能算力增长势头强劲:
- 数字经济成为全球经济增长的活力所在。2022年,全球51个主要经济体数字经济同比名义增长7.4%,高于同期GDP名义增速3.2%,持续为全球经济平稳回升注入动力。数字经济快速发展推动数字基础设施建设步伐加快。算力作为重要的数字基础设施,算力结构不断调整。
- 全球算力主要由通用算力、智能算力和超算算力组成。通用算力作为基础,满足广泛的日常计算需求;智能算力则在新兴技术领域发挥关键作用;超算算力针对特定高端需求提供强大计算能力。数据显示,2023年底全球算力总规模约910EFLOPS,其中,智能算力从2021年的113EFLOPS增长至2023年的335EFLOPS,增速远超其他。
600
500
图1:2021-2023年全球算力规模(单位:EFLOPS)
通用算力智能算力超算算力
551
498
图2:不同算力的重点应用领域
400
300
398
通用算力
智能算力
超算算力
技术特点
一般主要由CPU芯片提供计算能力,适合计算复杂度适中的云计算、边缘计算类场景。
一般由GPU为代表、FPGA、ASIC等AI芯片的加速计算平台提供的算力,侧重于处理和分析大量数据,执行复杂计算任务。
由超级计算机等高性能计算集群所提供的算力,注重双精度通用计算能力,追求精确的数值计算。
应用场景
应用范围广泛,如科学研究、工程设计、商业分析、医学诊断等。
主要用于人工智能的训练和推理计算,如语音、图像和视频的处理等。
主要用于尖端科学领域的计算,如行星模拟、药物分子设计、基因分析等。
335
200
100
0
2021
142
10
113
10
2022
24
2023
国家层面统筹布局,陆续出台多项政策大力支持算力发展:
- 国内重要的算力政策文件内容
- 时间
- 发文部门
- 文件名称
- 主要内容
- 2024.10
- 国家发展改革委员会
- 《国家数据标准体系建设指南》
- 要强化基础设施互联互通、算力保障和流通利用标准建设,为数据资源、数据技术、数据流通、融合应用提供支撑。
- 2024.09
- 国务院办公厅
- 《国务院办公厅关于加快公共数据资源开发利用的意见》
- 繁荣数据产业发展生态。将数据产业作为鼓励发展类纳入产业结构调整指导目录,支持数据采集标注、分析挖掘、流通使用、数据安全等技术创新应用,鼓励开发数据模型、数据核验、评价指数等多形式数据产品。围绕数据采存算管用,培育高水平数据要素型企业。聚焦算力网络和可信流通,支持数据基础设施企业发展。落实研发费用加计扣除、高新技术企业税收优惠等政策。支持数据行业协会、学会等社会团体和产业联盟发展,凝聚行业共识,加强行业自律,推动行业发展。
- 2024.03
- 中央人民政府
- 《政府工作报告》
- 适度超前建设数字基础设施,加快形成全国一体化算力体系,培育算力产业生态。
- 2023.12
- 国家发展改革委员会
- 《关于深入实施“东数西算”工程加快构建全国一体化算力网的实施意见(发改数据
- 〔2023〕1779号)》
- 到2025年底,普惠易用、绿色安全的综合算力基础设施体系初步成型,东西部算力协同调度机制逐步完善,通用算力、智能算力、超级算力等多元算力加速集聚,国家枢纽节点地区各类新增算力占全国新增算力的60%以上,国家枢纽节点算力资源使用率显著超过全国平均水平。1ms时延城市算力网、5ms时延区域算力网、20ms时延跨国家枢纽节点算力网在示范区域内初步实现。算力电力双向协同机制初步形成,国家枢纽节点新建数据中心绿电占比超过80%。用户使用各类算力