新机器到货、机房搬迁、驱动升级、故障返修之后,都需要回答同一个问题:这台8卡H100还能不能跑出它该有的性能。靠跑一个训练任务"感觉一下"远远不够——任务本身的瓶颈可能在数据加载或通信,GPU是否健康反而看不出来。压力测试的意义是用可控、可重复、可量化的负载,把硬件的真实状态逼出来。
完整的压测应该覆盖四个维度:算力是否达标、显存是否稳定、卡间与跨机带宽是否满速、长时间满载下温度与频率是否稳定。本文按这四个维度给出工具选型、命令步骤、判定标准与验收报告模板,所有操作均可在标准8卡H100 SXM5服务器上执行。
一、压测要回答的四个问题
问题一:算力有没有打折
同样型号的H100,因散热、供电、固件差异,实际可持续输出的算力可能相差10%以上。压测要测的不是峰值跑分,而是持续满载30分钟后的稳定频率与吞吐。判定依据是SM频率是否维持在标称的boost区间、功耗是否接近700W上限、是否出现Thermal Slowdown或HW Slowdown记录。
问题二:显存是否可靠
显存故障往往在高温高负载下才暴露。压测要做的是一轮覆盖全容量的大块读写,并检查ECC计数器。H100的HBM3带有纠错能力,可纠正错误会被自动修复,但计数增长说明颗粒在退化;不可纠正错误则会直接导致任务崩溃或结果错误,必须零容忍。
问题三:互联是否满速
8卡机的价值在NVLink,跨机集群的价值在IB。压测要分别验证卡间P2P带宽、8卡集合通信带宽、跨节点集合通信带宽,并与理论值和历史基线比对。链路降速、P2P被禁用、NCCL走错网卡,都只能通过带宽测试发现。
问题四:长稳是否可信
很多故障在短测中不出现,跑上几小时才暴露:温度缓慢爬升、风扇转速异常、电源在高负载下不稳、某张卡在高温时降频。长稳测试通常安排2-24小时,观察指标是否出现漂移。
二、工具矩阵与选择
| 工具 |
测试维度 |
典型命令 |
耗时 |
适用阶段 |
| gpu-burn |
算力与温度稳定性 |
./gpu_burn 600 |
10分钟起 |
到货验收、长稳 |
| dcgmi diag |
综合诊断(含显存、SM、NVLink) |
dcgmi diag -r 3 |
5-15分钟 |
上线前、故障定位 |
| nvbandwidth |
显存与卡间拷贝带宽 |
nvbandwidth -t device_to_device |
1-3分钟 |
带宽核验 |
| bandwidthTest |
H2D/D2H/D2D基础带宽 |
bandwidthTest --memory=pinned |
1分钟 |
快速核验 |
| nccl-tests |
单机与跨机集合通信 |
all_reduce_perf -b 8 -e 8G -f 2 -g 8 |
2-10分钟 |
组网验收、调优 |
| HPL / HPL-AI |
双精度/混合精度算力 |
按配置文件运行xhpl |
30分钟起 |
算力对标、招标验收 |
| PyTorch基准脚本 |
真实框架下的吞吐 |
固定模型的benchmark |
10分钟起 |
业务适配性验证 |
组合原则
不要指望一个工具解决所有问题。推荐的组合是:dcgmi diag做全面体检,gpu-burn做持续负载与温度观察,nvbandwidth与nccl-tests做带宽核验,最后用真实框架脚本做一次端到端确认。四步走完,硬件的算力、显存、互联、稳定性四个维度就都有数据支撑。
三、持续负载测试:gpu-burn 实操
准备与执行
- 获取源码后编译:
make,生成gpu_burn可执行文件,依赖CUDA Toolkit;
- 先用短时长确认可用:
./gpu_burn 60,观察8张卡是否全部启动、有无报错;
- 正式测试建议30分钟起:
./gpu_burn 1800,长稳测试可延长到4-8小时;
- 同时开一个窗口采集指标:
nvidia-smi dmon -s pucvmet -d 5 -o DT > burn.log,5秒一个采样点,落盘留证。
怎么看结果
- gpu-burn结束时会输出每张卡的GFLOP/s与是否通过校验,8张卡的数值应当接近,偏差超过5%就值得追问;
- 测试期间
nvidia-smi的功耗应稳定在650-700W附近,若某张卡长期只有500W,说明它没被真正压满或供电受限;
- 温度应在15分钟内达到稳态,之后波动不超过3℃;持续爬升说明散热能力不足;
- 结束后检查
nvidia-smi -q -d PERFORMANCE,若出现Thermal Slowdown或HW Slowdown,需要记录发生时间与持续时长。
常见异常与含义
某张卡算力明显偏低,先查该卡是否降频、链路是否为x16、是否被其他进程占用;全部卡都偏低,查整机功耗上限与机房进风温度;测试中途有卡退出,多半是驱动或硬件问题,查看dmesg中的Xid记录。gpu-burn的校验失败是强信号,说明计算结果不可信,该卡应直接下线。天下数据的节点分布在亚洲、美洲与欧洲,跨境业务不必再找第二家供应商。
四、显存与ECC专项测试
大块读写覆盖全容量
gpu-burn本身会占用大量显存,但覆盖策略不一定最优。更直接的显存测试是写一个简单的CUDA程序,分配接近满容量的缓冲区,做多轮写入-校验-比较,或者使用dcgmi diag中的显存测试项。dcgmi diag -r 3包含较完整的显存压力与NVLink测试,是最省事的选择。测试时要注意留出1-2GB余量,避免分配失败导致测试提前退出。
ECC计数器的解读
nvidia-smi -q -d ECC查看Volatile与Aggregate两类计数,前者是本次开机以来,后者是历史累计;
- 可纠正错误(Corrected)少量出现可以接受,但要在压测报告中记录基线,后续按周对比;
- 不可纠正错误(Uncorrected)出现一次就应触发更换流程,不要"再观察观察";
- Row Remapping计数反映显存坏行的重映射情况,持续增长说明颗粒在批量退化。
高温下的显存测试
显存故障与温度强相关,建议在gpu-burn把温度拉到稳态后立即执行显存测试,而不是冷机状态下的"漂亮结果"。有条件的话把进风温度提高到28-30℃再测一轮,检验散热余量。这一步能提前暴露机房夏季高温时的隐患,比事后救火划算得多。选型阶段如果不确定配比,可以让天下数据按目标负载出一份配置清单。对计划扩容的团队尤其重要。
五、带宽测试:从显存到卡间
设备内与主机间带宽
bandwidthTest --device=0 --memory=pinned测H2D与D2H,使用锁页内存时PCIe Gen5 x16单向参考值约50-55GB/s;
- 设备内拷贝(D2D)反映HBM3的实际带宽,理论3.35TB/s,实测通常在2.9-3.2TB/s;
- 数值明显偏低时,检查是否使用了可分页内存、是否有其他进程抢占带宽。
卡间P2P带宽
p2pBandwidthLatencyTest输出N×N矩阵,包含带宽与延迟;
- 8卡SXM5在NVSwitch全互联下,任意卡对应达到数百GB/s的双向带宽;
- 矩阵中出现明显低值的一对卡,说明该路径未走NVLink或链路异常;
- 延迟矩阵同样重要,异常的延迟尖峰可能来自PCIe重传或NVLink错误重试。
更细粒度的nvbandwidth
nvbandwidth是NVIDIA开源的工具,测试项更全,覆盖device_to_device、host_to_device、all_to_host等模式,并支持指定GPU对与传输尺寸扫描。相比bandwidthTest,它能给出更接近真实场景的曲线,适合做验收报告里的图表。运行nvbandwidth -h可以看到全部测试项,建议至少跑device_to_device与all_to_device两项。
六、集合通信测试:nccl-tests
单机8卡
- 编译后执行
./all_reduce_perf -b 8 -e 8G -f 2 -g 8,从8字节扫到8GB,倍增至;
- 关注两列:小消息看
algbw与延迟,大消息看busbw;
- 8卡SXM5的busbw参考值在350GB/s以上,低于100GB/s基本可判定走了PCIe;
- 同时跑
all_gather_perf、reduce_scatter_perf,不同集合操作的瓶颈点不同。
跨机多卡
- 用hostfile指定两台机器的地址,启动16进程:
mpirun -np 16 --hostfile hosts ./all_reduce_perf -b 8 -e 8G -f 2 -g 8;
- busbw应随节点数增长而保持相对稳定,若16卡反而低于8卡,说明跨机链路是瓶颈;
- 逐级扩展到4节点、8节点,画出带宽随规模的曲线,拐点位置就是网络收敛比或配置的问题所在;
- 测试时打开
NCCL_DEBUG=INFO确认走的是IB而非Socket,日志中应出现"Using network IB"。
结果不一致怎么办
如果nccl-tests的带宽远低于预期,按顺序检查:P2P是否被禁用、NCCL是否正确识别HCA、GPU与网卡是否同NUMA、交换机端口是否有误码、是否有其他流量混跑。多数问题在前两项就能定位,不需要一开始就怀疑硬件。
七、真实负载基准与长稳测试
为什么还要跑真实框架
gpu-burn压的是浮点运算,nccl-tests压的是通信,两者都无法完全代表真实训练。真实任务里还有数据加载、显存分配、kernel启动开销、混合精度转换。用一个固定的小模型(如ResNet50或一个小型Transformer)跑100步,记录每秒样本数与显存峰值,作为端到端的基线。这个基线对框架版本、驱动版本的变化很敏感,是判断"升级后有没有变慢"的最好依据。
长稳测试的执行方式
- 时长:验收场景建议4小时,重要节点可延长到24小时;
- 负载:用gpu-burn与真实训练交替,避免单一负载掩盖问题;
- 采样:dmon每5秒一个点,全程落盘,事后绘制温度、功耗、频率、利用率四条曲线;
- 判定:全程无Xid、无降频记录、温度无单调爬升、吞吐无持续衰减,四项全过才算通过。
验收指标参考
| 指标 |
参考合格线 |
说明 |
| 满载功耗 |
650-700W |
H100 SXM5上限约700W |
| 稳态核心温度 |
低于80℃ |
进风25℃环境下 |
| SM频率波动 |
±5%以内 |
持续负载期间 |
| 8卡AllReduce busbw |
350GB/s以上 |
NVSwitch全互联 |
| D2D拷贝带宽 |
2.9TB/s以上 |
HBM3理论3.35TB/s |
| ECC不可纠正错误 |
0 |
任何增长即不合格 |
| Xid错误 |
0 |
出现即需定位 |
八、压测的组织与常见误区
流程建议
把压测做成一张检查表:设备信息登记、短测、长测、带宽测试、真实负载、报告归档,每一步有明确的通过标准与责任人。新机器到货当天完成短测,48小时内完成长测,报告存入资产系统。驱动或固件变更后必须重跑,因为变更引入的性能回退往往很隐蔽。租用机器时也应要求服务商提供压测报告,并在合同中约定性能不达标的处理方式。
四个常见误区
- 只跑一分钟就下结论:温度与频率需要时间达到稳态,短测看不出散热问题;
- 只看峰值跑分:峰值高但持续输出低,实际训练收益反而更差;
- 忽略环境温度:冬天验收通过、夏天频繁降频的案例很常见;
- 压测与业务混跑:在有人训练的机器上压测,数据既不可信也影响他人。
成本视角
压测会占用机器数小时,看似浪费算力,但相比带着隐患上线后导致训练中断、checkpoint丢失、返修运输,成本可以忽略。自购整机的价格区间较大,需按品牌与配置向服务商询价;租用8卡H100整机的月租参考区间大致在数万元至十余万元,具体以服务商实时报价为准。把压测写进采购与验收流程,是性价比最高的一项运维投入。
压测环境的一致性
压测结果只有可比才有意义,而可比的前提是环境一致。同一台机器在不同进风温度下测出的稳态温度可能相差五六度,同一份测试在不同驱动版本下跑出的带宽也可能差几个百分点。因此每次压测都要记录环境快照:机房进风温度、机器负载情况(是否有其他任务)、驱动与固件版本、NCCL版本、测试参数与随机种子。跨批次对比时,先确认这些条件是否一致,再讨论性能差异。若条件无法完全一致,至少在报告中注明偏差,避免把环境差异误判为硬件退化。
对于 H100 服务器,这类负载最终要落到具体的整机与机房里——天下数据以中国香港与美国洛杉矶为主要入口,跨境线路可选 CN2 GIA,机柜电力可按高密机型定制;7×24 小时运维值守,硬件故障按 SLA 约定时限响应换件。已有明确交付周期的项目,建议提前锁定机房与机柜资源。
九、总结
H100的压测要覆盖算力、显存、互联、长稳四个维度,工具组合是dcgmi diag加gpu-burn加nvbandwidth与nccl-tests,最后用真实框架脚本收尾。判定不看峰值看稳态,不看单卡看一致性,不看一时看趋势。把每次压测的数据存档并与基线比对,硬件的老化与劣化就有了量化依据,故障处理也从"事后抢修"变成"事前更换"。
如需H100服务器的到货验收测试、性能基线报告或整机租赁方案,可通过天下数据官网(www.idcbest.com)咨询,获取测试服务说明与报价。
本文链接:https://www.idcbest.com/cloundnews/11018951.html