深度学习推理显卡设置指南

深度学习推理显卡设置指南

引用

CSDN

1.

https://m.blog.csdn.net/thisiszdy/article/details/139737919

在深度学习推理过程中，显卡的设置对性能和稳定性有着重要影响。本文将详细介绍如何选择合适的显卡以及如何进行显卡设置，包括通过NVIDIA控制面板和命令行工具进行GPU频率锁定的方法。

推理显卡的选择

选择合适的显卡是进行深度学习推理的基础。以下是一些关键参数：

1. 算力：包括SM数量、CUDA核心数量、Tensor核心数量以及在FP32、FP16、INT8、INT4、BF16、TF32等数据精度上的峰值算力。
2. 存储：包括显存、L1 Cache、L2 Cache等。
3. 内存带宽。

可以通过以下网站查询显卡的具体参数：https://www.techpowerup.com/gpu-specs/

深度学习推理显卡设置

1. 进入NVIDIA控制面板，选择“管理3D设置”
2. 设置"低延时模式"为 "“超高”"
3. 设置“电源管理模式”为“最高性能优先”

使用锁频来获得稳定的推理

法一：命令行操作

1. 以管理员身份打开CMD
2. 查看GPU核心可用频率：nvidia-smi -q -d SUPPORTED_CLOCKS
3. 锁定GPU核心频率：nvidia-smi -lgc 需要锁定的频率数值
4. 重置GPU核心频率：nvidia-smi -rgc

法二、Nvidia GPU锁频操作

1. 下载锁频工具：MSI AFTERBURNER
2. 打开MSI-Afterburner，点击“CURVE EDITER”打开频率-电压曲线
3. 在曲线图中选中一个小方块，可以调整不同电压下对应的GPU频率。将最后水平线上的小方块拖动往上调即可超频。选中其中一点，按Ctrl+L会在该点出现一条竖线，即可锁频。
4. 关闭“CURVE EDITOR”，点击应用按钮，这时GPU就可以超频或者锁频了。若不想锁频，点击“RESET”即可恢复默认频率设置。

本文原文来自CSDN