TG：@yunlaoda360
监控阿里云GPU的使用率是优化AI训练、推理或高性能计算任务的关键，它可以帮助你了解任务的资源消耗，避免资源浪费，并及时发现异常。阿里云提供了多种方式来监控GPU，其中最主要的是通过云监控服务。
1. 登录云监控控制台
这是查看所有云产品监控数据的统一入口。
- 登录 阿里云云监控控制台。
- 在左侧导航栏，选择云资源监控 > 主机监控。
- 在主机监控列表中，找到你的GPU实例，并点击实例名称或操作列的监控图表。
2. 确保云监控插件已安装
为了采集GPU的详细监控数据，你的GPU实例上必须安装云监控插件。
- 检查状态：在主机监控页面，你可以查看实例的插件状态。大多数新的GPU实例在创建时默认会安装此插件。
- 手动安装：如果插件未安装，你可以根据页面提示进行一键安装。安装完成后，为了确保插件能够正确采集GPU数据，可能需要重启插件服务。
阿里云国际站GPU：如何监控阿里云GPU的使用率？
3. 查看GPU监控指标
在实例的监控详情页面，切换到GPU监控标签页，你就可以看到多种GPU相关的监控图表。主要指标包括：
- GPU使用率（GPU Used Utilization）：这是最核心的指标，显示GPU核心的计算利用率。高使用率通常意味着任务正在高效利用GPU算力。
- 显存使用率（Memory Used Utilization）：显示GPU显存的占用情况。显存是存储模型、数据等信息的关键资源，如果显存不足，任务可能会报错。
- 显存使用量（Memory Used）：以MB为单位，显示显存的实际使用量。
- GPU温度（GPU Temperature）：监控GPU的温度，防止因过热导致性能下降或硬件故障。
- GPU功耗（GPU Power）：显示GPU的实时功耗，可以帮助你了解能源消耗情况。
4. 使用NVIDIA命令行工具
除了云监控控制台，你还可以通过SSH远程连接到GPU实例，使用NVIDIA自带的命令行工具来实时查看GPU状态。
- nvidia-smi：在命令行中输入 nvidia-smi。这个命令会立即返回GPU的详细信息，包括：
- GPU利用率。
- 显存使用量和总容量。
- GPU温度。
- 当前在GPU上运行的进程列表。
- 循环监控：如果你想持续监控，可以使用 watch -n 1 nvidia-smi 命令，它会每秒刷新一次GPU状态。
5. 配置报警规则
为了及时发现GPU使用异常，强烈建议你在云监控中为GPU指标设置报警规则。
- 例如，你可以设置当“GPU使用率”持续低于某个阈值（如10%）时发送报警通知，这可能意味着你的任务已经完成或者代码存在问题，导致资源浪费。
- 同样，当“显存使用率”超过95%时，也应设置报警，以防止因显存溢出而导致任务中断。
通过以上方法，你可以对阿里云GPU的使用情况进行全面而细致的监控，确保你的计算任务高效、稳定地运行。
