GPU性能实时监控的几种软件

GPU性能实时监控的几种软件

引用

CSDN

1.

https://blog.csdn.net/james506/article/details/138804294

在深度学习服务器上，各种模型的训练需要监控GPU的情况，并且需要根据使用状态来切换不同的GPU。以下是四款可以很好地进行GPU状态监控的软件。

1. nvidia-smi

这是一个跨平台工具，用于监控和管理NVIDIA GPU的状态和性能。它支持所有标准的NVIDIA驱动程序支持的Linux发行版以及从Windows Server 2008 R2开始的64位系统。这个工具通常与CUDA工具包一起安装，是NVIDIA显卡驱动的一部分。

常用命令：

watch -n 2 nvidia-smi

2. gpustat

这是一个基于nvidia-smi的命令行工具，用于监控和分析GPU的状态和使用情况。它提供了简约的显示方式。

安装

可以通过以下方式安装：

sudo apt install gpustat

或者

pip install gpustat

运行

可以通过以下命令运行：

watch -n 1 -c gpustat --color

或者

gpustat -i

3. nvtop

这是一个专为NVIDIA GPU设计的任务监视器，类似于htop，但提供了更直观的用户界面和更多的进程信息。

安装

可以通过以下方式安装：

sudo apt install nvtop

安装完毕后直接运行：

nvtop

4. nvitop（重点推荐）

这是一个交互式的 NVIDIA GPU 设备性能、资源和进程的实时监测工具。"nvitop" 在实时监控 GPU 设备资源和性能方面具有全方位优势，包括更美观的颜色和更直观的进度条来展示某块 GPU 卡所处进程的 GPU & CPU 内存以及利用率占比。此外，它还支持树视图、环境变量查看、进程过滤、进程指标监控等多种功能和选项。因此，可以推断 "nvitop" 是一个高颜值的实时监控工具，专为监控 NVIDIA GPU 设备性能和资源而设计。

安装

可以通过以下方式安装：

pip install nvitop

运行

支持三种模式：auto、compact、full

nvitop -m full