AI大模型：如何测算文本大模型，AI训练端算力需求？

AI大模型：如何测算文本大模型，AI训练端算力需求？

引用

搜狐

1.

https://m.sohu.com/a/783653427_121709768/?pvid=000115_3w_a

随着AI大模型的快速发展，其对算力的需求也呈现出爆发式增长。本文从需求侧和供给侧两个维度，分析了大模型算力需求的变化趋势，并以GPT-3到GPT-4的升级为例，说明了参数量和训练数据量的显著增长。

如何测算文本大模型AI训练侧算力需求？

对于AI训练侧算力，核心需要解决的问题是：当前蓬勃发展的AI大模型应用到底带来了多少GPU需求量。我们整理出算力供给需求公式，并分类讨论公式中的核心参数变化趋势，以此给出我们的判断。基于初步分析，我们将核心需要解决的问题进一步拆解如下：

1. 需求侧：单个大模型训练计算量是否仍有提升空间？大模型数量如何演变？
2. 供给侧：GPU在实际应用中性能提升速度如何？

从大模型算力需求来看，GPT-3到GPT-4历时三年代际升级效果显著。参数上从175B参数快速提升到1.8TB参数（提升9倍），训练数据量（Token数）同方向快速增长，由0.3TB提升至13TB（提升42倍）。绝对值上看，根据我们的非完全统计情况，国内外主流大模型在参数量上基本已来到千亿量级，在预训练数据规模上均已来到个位数乃至十位数的TB量级。