windows查看显卡GPU利用率

windows的任务管理

A100显卡用这个方法看不到，请看文档第二节

在windows系统的任务栏，点右键，打开列表如下图，点击任务管理器

打开任务管理器之后，依次点击，性能，GPU

可以初步检查GPU的使用情况，但是这个不是很准，而且如是用的A100计算卡，在这里看不到

建议需要更准确详细的信息，用Windows Power Shell执行nvidia-smi查看，下文会详细说明

下图的任务管理器，GPU运行情况主要关注利用率和专用GPU内存利用率

Windows Power Shell 查看GPU利用率

首先通过搜索，打开PowerShell, 需要以管理员身份运行，如下图

打开Power Shell之后，执行命令 nvidia-smi查看

可以输入以下命令执行2秒刷新监控结果

while ($true) { nvidia-smi; Start-Sleep -Seconds 2; Clear-Host }

主要看显存占用Memor-Usage, GPU利用率GPU-Util ，还有当前使用GPU的进程数据Processes

常见问题

程序运行没用上GPU

1、先查看利用率和显存占用多少，如果利用率为0，显存有明显的占用，并且nvidia-smi看进程有，可能是程序在推理或者预处理阶段

2、如果利用率为0，显存也没占用，这个时候就要一步步分析问题了

第一步：conda环境选对了吗？pytorch可以执行简单的代码测试

项目内新建test.py文件，输入以下代码，点击运行查看，如果以下代码第二行输出为false，则可能conda环境没选择好

import torch
torch.cuda.is_available()
print(torch.__version__)

第二步：如果以上代码输出为true, 说明GPU环境是正常的，请测试debug你的业务代码，来定位原因