H100服务器日常运维需要重点监控哪些指标?

一台8卡H100服务器的价值以百万计,但它出问题时给出的信号往往很微弱:温度比平时高了三度、某张卡的ECC计数悄悄涨了两次、NVLink的CRC错误从零变成个位数。这些变化单独看都不致命,累积起来却会在某个关键训练任务跑到第80小时时集中爆发。日常运维的意义,就是在这些微弱信号变成事故之前把它们抓住。

一、分层模型:从硅片到业务

为什么必须分层

监控最容易犯的错误是"指标平铺":几百个数字堆在面板上,没人知道哪个重要。分层的好处是建立了排查方向——业务层异常先看资源层,资源层异常先看硬件层,逐层下钻,路径清晰。同时,不同层级的指标更新频率与保留周期也不同:硬件错误计数按天看趋势,GPU利用率按秒看波动,业务吞吐按小时看均值。

五层的职责边界

  • 硬件层:GPU板卡、基板、电源、风扇、内存条的物理健康,来自BMC与GPU内部传感器;
  • GPU层:算力、显存、温度、功耗、频率、互联,来自nvidia-smi与DCGM;
  • 系统层:CPU、内存、磁盘、PCIe、内核日志,来自node_exporter与系统日志;
  • 网络存储层:IB/RoCE端口状态与误码、存储带宽与延迟;
  • 业务层:任务吞吐、队列等待、失败率、checkpoint成功率,来自调度系统与训练框架。

二、GPU层:最核心的八个指标

利用率与显存

GPU利用率反映SM的忙碌程度,训练满载应在85%以上。但单看这一个数字容易被误导,必须与显存、功耗联合判断:利用率高、功耗低,说明任务在等显存或通信;利用率低、显存高,可能是数据加载卡住;两者都低而显存持续增长,是典型的显存泄漏。显存指标要同时看已用量与峰值,峰值接近80GB上限时,下一个更大的batch就会OOM。

温度与功耗

H100 SXM5的核心温度长期应控制在80℃以内,显存温度低于90℃,热点与核心的温差不应超过20℃——温差扩大往往意味着导热材料老化或散热模组接触不良。功耗方面,满载接近700W是正常状态;长期只跑出400W而利用率显示很高,说明任务访存密集,不算故障,但要做容量规划时需要注意。真正需要告警的是触发Thermal Slowdown或HW Slowdown,这两个状态直接意味着性能被硬件限制。

频率与性能状态

SM频率应稳定在boost区间,波动幅度不超过5%。频率无故下跌,先看温度与功耗是否触顶,再看是否有其他进程抢占。性能状态(pstate)长期停留在P2以下,说明GPU没有进入满性能模式,可能是驱动配置、电源策略或任务本身负载不足。

ECC与Xid

ECC的可纠正错误计数应作为趋势指标长期跟踪,单次出现不必紧张,但每周增长就说明显存颗粒在退化。不可纠正错误是硬红线,出现一次就该启动更换流程。Xid是驱动层报告的错误码,覆盖了从显存访问异常到GPU掉总线的各类问题,任何Xid都应记录编号、时间与卡号,反复出现的节点必须下线诊断。

NVLink状态

8卡机要盯三件事:链路数量是否为18条全Active、链路速率是否一致、CRC与重传错误是否增长。跨卡通信变慢时,这三项是第一顺位检查内容。集群层面还应监控NCCL的实际带宽,把它作为互联健康的端到端指标。把需求交给天下数据评估时,同时给出算力、带宽与预算三项约束,方案会更贴近实际。可作为方案对比时的一个参照。

三、系统层:容易被忽视但同样致命

CPU、内存与磁盘

  • CPU:关注系统态占用(sy)与iowait,训练时的数据预处理会吃满CPU,iowait高说明存储跟不上;
  • 内存:8卡机通常配1-2TB,内存不足会触发OOM Killer杀掉训练进程,要监控可用内存与swap使用;
  • 磁盘:系统盘写满会导致日志丢失、临时文件写入失败,进而让训练莫名崩溃;本地NVMe要关注剩余寿命与写放大;
  • 文件句柄与进程数:大规模数据加载会打开大量文件,触及上限时报"Too many open files"。

PCIe与硬件传感器

PCIe链路速率应保持Gen5 x16,降为x8或Gen4会直接影响数据搬运带宽。这一项在nvidia-smi的查询字段里就有,属于"顺手就能监控"的指标。硬件传感器方面,机箱风扇转速、电源输出功率、进风温度、内存CE/UE计数都通过BMC的IPMI接口读取,建议统一采集,因为GPU的散热问题往往先在进风温度上体现。

内核日志

dmesg中的Xid、AER(PCIe高级错误报告)、MCE(机器检查异常)、OOM Killer记录,是最有价值的故障线索。建议用日志采集代理把内核日志集中收集,并对关键词做告警。很多硬件故障在nvidia-smi上还看不出异常时,内核日志里已经有了明确报错。

四、网络与存储:集群场景的关键

IB/RoCE端口指标

  • 端口状态与速率:应为Active、400Gb/s,降速或Down要立即告警;
  • 误码与丢包:IB看Symbol Error与Link Down计数,RoCE看PFC暂停帧与ECN标记比例;
  • 带宽利用率:持续超过70%说明网络接近饱和,扩容或调整并行策略;
  • 交换机侧:端口缓冲溢出、CPU负载、风扇与电源状态,属于集群级监控。

存储指标

并行文件系统要盯四个数字:聚合读带宽、聚合写带宽、元数据操作延迟、客户端重连次数。训练任务启动时的数据加载阶段对读带宽最敏感,checkpoint阶段对写带宽最敏感。存储带宽不足的表现是GPU利用率周期性掉底,而计算与通信都正常,这个特征可以帮助快速区分瓶颈位置。上线之后,天下数据提供 7×24 监控与备件更换,覆盖多数硬件故障场景。具体以后续实测数据与商务确认为准。

五、业务层:运维最终要对结果负责

四个业务指标

  • 任务吞吐:每天完成的训练任务数、总卡时、平均队列等待时间;
  • 失败率:按失败原因分类(OOM、节点故障、代码错误、被抢占),硬件原因占比是衡量基础设施质量的直接指标;
  • checkpoint成功率:写入失败意味着中断后无法恢复,属于高优先级问题;
  • 有效算力比:实际用于计算的卡时除以总卡时,反映资源浪费程度,通常应高于70%。

为什么要监控业务层

硬件指标全绿但业务吞吐下降的情况并不少见:驱动升级引入性能回退、存储挂载参数变化、调度策略调整导致碎片化。只有业务层指标能捕捉到这类"整体变慢但找不到故障点"的问题。建议每周固定输出一份业务看板,与上周对比,异常波动必须给出解释。

六、指标清单与阈值参考

层级 指标 采集方式 预警阈值 告警级别
GPU 核心温度 DCGM / nvidia-smi 80℃持续5分钟 一般
GPU 显存使用率 DCGM 90%持续10分钟 一般
GPU ECC不可纠正错误 nvidia-smi -q -d ECC 大于0 严重
GPU Xid错误 内核日志 任意Xid 严重
GPU NVLink错误计数 nvidia-smi nvlink -e 24小时内增长 严重
系统 PCIe链路速率 nvidia-smi query 低于Gen5 x16 一般
系统 系统盘使用率 node_exporter 85% 一般
网络 IB端口误码 交换机/网卡计数 持续增长 严重
存储 读带宽 文件系统监控 低于基线70% 一般
业务 任务失败率 调度系统 单日高于10% 一般

阈值的用法

表里的数字是起点不是标准答案。每套集群的机房条件、任务类型不同,阈值要在运行一个月后根据实际分布调整。方法是看历史数据的P95与P99分位:把P99略作上浮作为预警线,把物理极限作为严重线。阈值定得太松会漏报,定得太紧会天天响,最终导致值班人员对告警麻木,这比没有告警更危险。

七、采集架构与告警分级

采集链路

推荐的最小架构是:每台机器部署DCGM Exporter与node_exporter,Prometheus定时抓取,Grafana展示,Alertmanager负责告警路由。GPU指标与系统指标用同一套时序库,方便做关联分析。数据保留策略按用途区分:原始数据15-30天,聚合数据半年以上,故障期间的快照永久保留。

三级告警

  • 提示级:温度偏高、磁盘将满、利用率异常,进入日报,不打扰值班;
  • 警告级:ECC可纠正错误增长、IB误码增加、任务失败率上升,推送到运维群,当天处理;
  • 紧急级:Xid、不可纠正ECC、GPU掉卡、节点失联,直接电话通知,30分钟内响应。

抑制与聚合

一台机器故障可能同时触发温度、利用率、任务失败三类告警,全部推送会造成信息淹没。做法是按节点聚合,同一节点在5分钟内的多条告警合并为一条,并标注根因。维护窗口内的机器应提前打上静默标签,避免计划内重启引发误报。

八、值班流程与周期复盘

日常动作

  • 每日:扫一遍告警面板,处理未闭环项;检查备份与checkpoint是否成功;确认队列无异常堆积;
  • 每周:跑一次dcgmi diag中等强度诊断;对比温度、功耗、ECC的周趋势;输出业务指标周报;
  • 每月:完整诊断加一次压测复测;核对备件库存;审视阈值是否需要调整;
  • 每季度:评估硬件生命周期,对故障频次高的节点做更换计划。

故障处置的闭环

每一次故障都应留下四样东西:现象描述、定位过程、根因、改进措施。缺少任何一项,同类问题就会重复发生。特别是"改进措施",要落到具体动作上,比如"给该批次机器统一升级固件"而不是"加强巡检"。故障库积累到一定规模后,可以反过来优化监控阈值——哪些指标提前预警了、哪些完全没有反应,都是调整依据。

生命周期与成本

GPU服务器的故障率随使用年限上升,通常第三年起显存与风扇的故障会明显增多。运维要建立每台机器的健康档案,记录故障次数、更换部件、性能基线变化,作为更换决策的依据。自购整机的价格区间较大,需按配置向服务商询价;租用8卡H100整机的月租参考区间大致在数万元至十余万元,具体以服务商实时报价为准。当一台机器的年维修成本接近租金时,就该考虑置换而不是继续修。

回到 H100 服务器这件事,这类负载最终要落到具体的整机与机房里——天下数据以中国香港与美国洛杉矶为主要入口,跨境线路可选 CN2 GIA,机柜电力可按高密机型定制;售前会给出机型对比清单与算力测算,交付前支持整机压测验收。已有明确交付周期的项目,建议提前锁定机房与机柜资源。

九、总结

H100服务器的日常运维监控,核心是把指标分成五层并各司其职:GPU层盯温度、功耗、显存、ECC、Xid与NVLink;系统层盯CPU、内存、磁盘、PCIe与内核日志;网络存储层盯端口误码与带宽;业务层盯吞吐、失败率与有效算力比。阈值要基于自身数据校准,告警要分级并做聚合抑制,处置要形成闭环。做到这几点,多数硬件故障都能在影响业务之前被发现,集群的有效算力也能维持在较高水平。

如需H100服务器的运维监控方案、健康巡检服务或整机租赁与采购建议,可通过天下数据(idcbest.com)官网咨询,获取方案说明与报价。

本文链接:https://www.idcbest.com/cloundnews/11018949.html



提 交 服 务 单

扫码关注更多优惠