衡量AI性能的单位“TOPS”是什么意思？是怎么来的？

衡量AI性能的单位“TOPS”是什么意思？是怎么来的？

引用

腾讯

1.

https://new.qq.com/rain/a/20250201A032B200?media_id=&openApp=false&suid=&web_channel=wap

这几年人工智能盛行，在讨论消费级显卡的时候，多了一个重要的性能衡量指标，那就是AI算力，通常以“TOPS”为单位，比如微软要求Copilot+ PC笔记本电脑的算力至少要在40 TOPS以上。

“TOPS”是英文单词“Tera Operations Per Second”的缩写，中文意思是每秒万亿次操作。显卡AI的TOPS算力指的是显卡在进行人工智能相关计算时，每秒能够执行的万亿次操作数量。

它主要用于评估显卡在处理AI任务，如深度学习中的神经网络训练和推理等方面的计算能力。例如，一款显卡的 AI 算力为 100TOPS，就意味着它每秒可以进行100万亿次与 AI 计算相关的操作。

显卡 AI 的 TOPS 算力计算会涉及到多个因素，包括显卡的核心数量、频率、架构以及计算精度等。通常可以通过理论计算和实际测试两种方式来确定。

理论计算

理论计算是根据显卡的硬件参数，如CUDA核心数量、频率以及每个核心在单位时间内能够执行的操作数量等，通过特定的公式进行计算。

以英伟达的 CUDA 核心为例，假设一个CUDA核心在某种计算精度下每秒能执行 N 次操作，显卡有 M 个 CUDA 核心，那么理论上该显卡的 AI 算力就可以表示为 M×N 次操作每秒，再将其换算为 TOPS。

实际测试

实际测试，通过运行专门的 AI 基准测试软件或在实际的 AI 应用场景中进行测试，来获取显卡的实际AI算力。例如在一些深度学习框架中，使用特定的模型和数据集进行训练或推理，记录显卡完成任务所需的时间，进而计算出其实际的TOPS算力。

由于微软要求Copilot+ PC笔记本电脑的算力至少要在40 TOPS以上，所以现阶段如果要体验AI，处理器的AI算力在40 TOPS以上是一个最低的门槛，低于这个数值是无法充分体验的。