算力-计算量，关于TOPS和FLOPS，及FLOPs

算力-计算量，关于TOPS和FLOPS，及FLOPs

引用

CSDN

1.

https://blog.csdn.net/zaibeijixing/article/details/135425642

在AI和计算机领域，算力单位是一个基础但又容易混淆的概念。本文将详细解释TOPS、FLOPS和FLOPs之间的区别和联系，帮助读者更好地理解这些基本的算力单位。

一、易混淆的三个点

关于TOPS和FLOPS，及FLOPs，这里有3个易混淆的点。

1. 最大的混淆点，上述三个名词是两种东西，注意“S/s”的大小写。TOPS和FLOPS指的是每秒的计算量，算是速度方面的，用在芯片算力性能上。FLOPs指的是深度学习模型自身的计算量，算是体量方面的，用在深度学习模型本身参数计算量上。

2. 针对算力速度方面的TOPS和FLOPS，其中OPS指的是每秒处理次数，但通常是默认对INT8整型数的处理次数（INT8省略不写），加上FL后FLOPS指的是对FP32浮点数的处理次数。

3. 仍然是针对算力速度方面的TOPS和FLOPS，这里的T指的是量级（Tera ，万亿，10^12），同理TFLOPS专门指每秒对浮点数处理的达到多少万亿次数。

二、芯片算力单位详解

通过缩写就能发现其中的奥妙。

• OPS (operations per second)：每秒处理次数
• FLOPS (Floating point number operations per second)：每秒处理浮点数次数
• TOPS (Tera operations per second)：每秒处理的万亿次数
• TFLOPS (Tera Floating point number operations per second)：每秒处理浮点数的万亿次数
• FLOPs（Floating point number operations）：模型参数的处理次数

芯片速度类：

• 基础单位：OPS（operations per second）：每秒处理次数，通俗是对INT8类型的操作次数，整型默认省略。
• FLOPS：Floating point number operations per second，是指浮点数每秒处理的次数，通常是FP32，浮点着重强调。

量级单位（万亿次）：

• TOPS：Tera operations per second，每秒可以处理的整型运算的万亿次数（10^12次）
• TFLOPS：Tera Floating point number operations per second，每秒对浮点数处理的达到多少万亿次数

下图为nvidia-A100/H100部分算力信息，可对比TOPS/TFLOPS区别。

四、模型算力单位详解

模型体量类：

• FLOPs：Floating point number operations，模型参数的处理次数。衡量模型参数计算量

以基础的分类卷积神经网络为例：

• AlexNet：对于AlexNet处理224*224的图像，需要1.4G FLOPS
• ResNet-152：对于224*224的图像，ResNet-152需要22.6G FLOPS

五、算力单位量级变换

• MOPS（Million Operation Per Second）：一百万次（10^6） 兆；百万
• GOPS（Giga Operations Per Second）：十亿次 （10^9） 千兆；十亿（billion，B）
• TOPS（Tera Operations Per Second）：一万亿次 （10^12） 兆兆

量级变换：

• 1 MOPS = 10^6 FLOPS
• 1 GOPS = 10^9 FLOPS
• 1 TOPS= 10^12 FLOPS

注意：这个地方有时候加不加FL比较含糊，很多厂家和个人有时候没有专门写明，一般先关注量级即可

六、计算机存储单位换算

• 1Byte=8bit
• 1KB=1024Byte(字节)=8*1024bit
• 1MB=1024KB
• 1GB=1024MB
• 1TB=1024GB tera(梯）单位标示：T/TB

七、科学计算单位换算

• 10^15：拍[它] P peta
• 10^12：太[拉]（万亿） T tera trillion 万亿
• 10^9：吉[咖]（十亿） G giga billion 十亿
• 10^6：兆（百万） M mega million 百万
• 10^3：千 k kilo