一文揭秘GPU、显卡、英伟达4090、A100，教你如何做模型训练的算力评估

一文揭秘GPU、显卡、英伟达4090、A100，教你如何做模型训练的算力评估

引用

CSDN

1.

https://m.blog.csdn.net/weixin_36092143/article/details/145467036

随着人工智能的快速发展，GPU（图形处理器）和显卡在AI模型训练中的作用日益凸显。本文将为您揭秘GPU与CPU的区别，显卡与GPU的关系，以及如何评估AI模型训练所需的算力。

GPU打败CPU，英伟达垄断之路的起点

传统CPU一核只能处理一个任务，就像人脑一样，处理大数据时容易"犯迷糊"。而GPU拥有大量计算核心，可以同时执行很多相似计算任务，在短时间内处理大量数据。传统CPU训练深度神经网络效率低下，而GPU因为能并行计算，可大大缩短模型的训练时间，甚至从几十天降到几小时。

显卡和GPU有什么不同？

显卡（Video Card）是一种计算机硬件，它将GPU、内存和其他电路集成在一起。英伟达4090、A100显卡之所以适合人工智能、高性能计算，一大关键就是把存储器集成到了GPU旁边，大幅提升了数据传输带宽。

大模型训练需要多少算力？

训练总算力（Flops）= 6 * 模型的参数量 * 训练数据的 token 数。AI 并不难学，要想做好 AI 模型训练，可以不懂 attention 的 softmax 为什么要除以 sqrt(d_k)，但不能不会计算模型所需的算力、内存带宽、内存容量和通信数据量。大模型训练所需的总算力: 6 * 模型的参数量 * 训练数据的 token 数就是所有训练数据过一遍所需的算力。这里的 6 就是每个 token 在模型正向传播和反向传播的时候所需的乘法、加法计算次数。