打开任何一家GPU服务器的配置页，都会看到一长串型号：A100、H100、H200、B200、L40S、L4、RTX 4090、RTX 6000 Ada……它们分属不同架构世代、不同产品线，价格可以相差十倍以上。选错型号的代价往往不是多花钱，而是"卡买了却跑不动模型"或"算力过剩长期闲置"。

本文按产品线梳理NVIDIA数据中心GPU的完整图谱，给出各系列的核心参数对照，说明SXM、PCIe、NVL等形态后缀的含义，最后给出一条从业务需求出发的选型路径。

一、四代架构的演进脉络

理解型号之前，先理解世代。数据中心GPU大致可按架构分为四代，每一代的核心进步方向并不相同。

1.1 世代与技术主线

• Volta（2017）：首次引入Tensor Core，V100成为第一张真正意义上的AI训练卡，16GB/32GB HBM2。
• Ampere（2020）：A100把HBM2e做到40GB/80GB，引入TF32与结构化稀疏，成为此后数年的训练主力。
• Hopper（2022–2024）：H100引入Transformer引擎与FP8，H200把显存推到141GB HBM3e，重点转向显存带宽。
• Blackwell（2024–2026）：B200以192GB HBM3e与FP4算力重构训练成本，B300进一步把显存推到288GB级，面向超大规模MoE。

这条脉络有一个清晰的趋势：算力增长在放缓，显存容量与带宽的增长在加速。原因是模型结构从"稠密大参数"转向"稀疏MoE+长上下文"，瓶颈从"算得快不快"变成"装得下装不下、喂得饱喂不饱"。

二、数据中心训练卡：A100 / H100 / H200 / B200

这是AI服务器的主力产品线，共同特征是支持NVLink、支持ECC显存、面向7×24长时间满载运行。

2.1 A100：仍然能打的上一代主力

A100 80GB HBM2e提供约2.0TB/s带宽与约312 TFLOPS的FP16稠密算力。它的优势是生态成熟、驱动与框架兼容性极好、二手与租赁存量充足，价格已回落到合理区间。适合中等规模训练（10B以下全参、70B级LoRA）、稳定推理与教学科研。短板是不支持FP8，在新一代低精度训练流程中会吃亏。

2.2 H100：大模型训练的基准线

H100 80GB HBM3把带宽提升到约3.35TB/s，FP16稠密算力约990 TFLOPS，配合FP8可达约1979 TFLOPS（稀疏口径更高）。NVLink 4提供约900GB/s的卡间带宽，是8卡整机训练的标配。它几乎是"能做正经大模型训练"的门槛卡，也是目前租赁市场供给最充足的型号。

2.3 H200：显存优先的推理利器

H200的算力与H100基本相同，但显存升级到141GB HBM3e、带宽约4.8TB/s。这让它在三类任务上明显占优：70B级模型单机部署、超长上下文（128K以上）推理、以及需要大KV Cache的高并发服务。对训练，它的收益主要体现在能放下更大的单卡分片，减少并行切分带来的通信开销。

2.4 B200：面向万亿参数的新平台

B200采用双die封装，192GB HBM3e、带宽约8TB/s，FP4稠密算力达PFLOPS级，NVLink 5带宽约1.8TB/s。它的定位不是"更快的H100"，而是"让MoE训练在更少节点上完成"。代价是功耗与配套要求大幅提升：单卡约1000W，整机需要液冷或强风冷，机房配电要重新规划。

2.5 四张卡怎么选：一句判断法

如果模型能在单卡装下、且对成本敏感，选A100；如果要做10B以上全参训练、追求生态通用性，选H100；如果主要跑70B级模型的推理或超长上下文服务，选H200；如果目标是百B级MoE、且机房具备液冷条件，再考虑B200。这四条判断覆盖了绝大多数实际需求，剩下的差异可以用卡数来调节。

三、推理与通用加速卡：L4 / L40S / A40

这条产品线不带NVLink，主打能效比与形态灵活，是推理集群和边缘部署的主力。

3.1 L4：低功耗推理卡

L4为24GB GDDR6、约72W功耗、单槽半高形态，适合视频转码、轻量视觉推理与边缘盒子。它的算力不适合大模型，但在"每瓦吞吐"上表现优秀，常用于内容审核、OCR、推荐排序等场景。

3.2 L40S：图形与推理兼顾

L40S提供48GB GDDR6、约864GB/s带宽、约362 TFLOPS的FP16稠密算力，功耗约350W。它同时具备较强的光追与编解码能力，因此被广泛用于文生图、文生视频、3D渲染以及中等规模LLM推理。相比H100，它的显存带宽低一个量级，做大模型训练会明显吃力，但做推理性价比很高。

3.3 A40：上一代通用卡

A40为48GB GDDR6、约300W，定位与L40S接近但世代更早。存量多、价格低，适合虚拟化桌面（vGPU）与中等推理负载。新采购时若无特殊兼容要求，一般优先考虑L40S。同一套需求，天下数据通常会给出自购与租用两种路径，便于按现金流节奏选择。

四、工作站与消费级卡：RTX 4090 / RTX 6000 Ada

这类卡原本面向图形工作站，但因为单卡算力价格比极高，被大量用于小规模微调与推理。

4.1 RTX 4090：性价比之王，也是局限之王

24GB GDDR6X、约1.0TB/s带宽、约330 TFLOPS的FP16稠密算力（开启FP8稀疏时标称更高），单卡功耗约450W。它的算力单价极低，跑7B–14B微调、Stable Diffusion类生成任务非常划算。但三点限制必须清楚：显存只有24GB、没有NVLink、官方对数据中心长时间满载使用的支持有限。多卡拼装时只能走PCIe，通信效率低。

4.2 RTX 6000 Ada：专业版的折中

48GB GDDR6、约960GB/s带宽、约300W功耗，支持ECC与专业驱动。它相当于"加显存、加稳定性"的4090，适合需要在工作站里跑32B级模型或做长时间渲染的团队。如果需要第三方视角，天下数据的技术团队可以按本文的选型维度出一份对照意见。比单看参数更接近真实的落地成本。

五、算力数字怎么读：精度、稀疏与实测差距

厂商宣传页上的TFLOPS经常让人困惑：同一个型号，一会儿写990，一会儿写1979，一会儿又变成3958。这些数字并不矛盾，只是口径不同。看懂口径，才不会拿错误的数字做比较。

5.1 三种常见口径

• 稠密（Dense）：不做任何稀疏优化的原始算力，是最保守也最可比的口径。
• 结构化稀疏（Sparse）：利用2:4稀疏模式，标称值通常翻倍，但需要模型侧配合剪枝才能部分兑现。
• 低精度（FP8/FP4）：通过降低数值精度换取吞吐，Hopper的FP8约为FP16的两倍，Blackwell的FP4在此基础上再翻倍。

因此"H100的FP16是990 TFLOPS、FP8是1979 TFLOPS"是准确的，但把FP8数字与另一张卡的FP16数字直接相比就是错误的。做选型对比时，务必统一到同一精度、同一稀疏口径。

5.2 标称与实测的差距从哪来

即使口径统一，实测吞吐通常也只有标称值的40%–70%。差距主要来自三处：显存带宽不足导致的"算力等数据"、卡间通信等待、以及算子实现不优（例如注意力机制的变体未被充分优化）。这也解释了为什么显存带宽更高的卡，在小batch推理中往往跑出超出算力比例的提升。

实践建议是：不要用标称值做容量规划，用目标模型在目标卡型上的实测吞吐（tokens/s或samples/s）做规划，再留30%余量。多数服务商可以提供短时压测环境，这笔时间投入远比事后换卡便宜。

六、主流型号参数对照

表中"FP16稠密"一列是最保守的可比口径，未计入稀疏与低精度加速。若按FP8口径，H100与B200的数值会再翻倍，而A100与RTX系列没有对应硬件支持，差距进一步拉大。

从表里可以读出一个反直觉的事实：RTX 4090的FP16算力接近H100的三分之一，价格却只有几十分之一。但它的显存带宽只有H100的三分之一、显存容量不到三分之一、且没有NVLink。这正是"消费卡不能替代训练卡"的量化解释——不是算力不够，而是显存与互联不够。

七、型号后缀怎么读：SXM、PCIe、NVL

同一个型号后面常跟不同后缀，价格与适用场景差别很大，采购时必须写清。

6.1 三种主要形态

• SXM：板载模块化形态，通过专用基板与NVLink Switch互联，8卡可组成全互联域。带宽最高、价格最贵，是训练的标配。
• PCIe：标准插卡形态，插在服务器PCIe插槽上，卡间通过PCIe Switch或CPU互联。部署灵活、成本低，适合推理与4卡以内的小规模训练。
• NVL / 机柜级：把互联域扩展到整机柜（如72卡级方案），通过铜缆背板构成更大NVLink域，面向万亿参数模型的超大集群。

6.2 同名不同配的坑

同样写"H100 80GB"，SXM版与PCIe版的实际训练效率在8卡场景下可能相差30%以上，而报价单往往只写型号不写形态。另一个常见差异是"是否含NVLink Bridge"——PCIe卡加装桥接器后可以两两互联，但无法形成8卡全互联。这些细节决定了"同价不同性能"，务必在合同中明确。

八、按需求选型的四条路径

8.1 大模型预训练

首选8卡SXM整机，H100为基准、B200为进阶。关键指标是NVLink域大小与单卡显存，算力反而次要。多机扩展时同步规划InfiniBand组网。

8.2 中等规模微调

4卡H100 SXM或8卡A100是甜点区间。若模型在32B以下，8卡L40S也能胜任LoRA微调，成本可降一半以上。

8.3 在线推理服务

按"模型大小×并发"选显存。7B–14B用L40S或4090即可；32B–70B建议H200单机或双卡H100；百B级MoE需要8卡H200/B200配合专家并行。推理场景不必为NVLink付溢价。

8.4 图形与多模态生成

优先看编解码单元与显存，L40S与RTX 6000 Ada是主力，视频生成对显存带宽敏感，能上HBM系列更好。

九、采购前的五个核对项

型号定下来之后，还有五件事需要在合同或配置单上写清楚，否则"型号对了、体验不对"的情况非常常见。

• 显存是否可ECC：数据中心卡普遍支持，工作站卡需单独确认，长时间训练建议开启。
• 驱动与CUDA版本：确认目标框架（PyTorch/TensorRT）对当前驱动版本的支持矩阵，新卡往往需要较新的驱动。
• 散热形态：被动散热卡必须装在服务器风道内，不能当作独立显卡使用；高功耗SXM卡通常需要专用基板与液冷或强风冷。
• 供电接口与整机功率：计算整机峰值功耗并核对PDU与机柜上限，8卡机型往往需要双路高压供电。
• 保修与备件：数据中心卡的保修通常按年计，确认是否含备机、换机时长与是否覆盖显存故障。

就 GPU 服务器而言，这类负载最终要落到具体的整机与机房里——天下数据的节点资源覆盖亚洲、美洲与欧洲，GPU 服务器支持整机租用、托管与带宽升级组合；支持按需开通与包月两种计费，扩容按整机或节点分批推进。纳入候选名单后，各家在资源与线路上的差异会更容易比出来。

总结

NVIDIA的AI显卡可以归为三条线：带NVLink的数据中心训练卡（A100/H100/H200/B200），主打能效的推理卡（L4/L40S/A40），以及高性价比的工作站卡（RTX 4090/6000 Ada）。选型的顺序应当是：先按模型显存需求定容量档位，再按是否训练定是否需要NVLink，最后按功耗与机房条件定具体形态。记住一句话——训练买互联，推理买显存，生成买带宽。

型号迭代很快，建议在采购前确认三点：目标框架对新一代架构的支持情况、机房供电与散热是否匹配、以及租赁与购买的成本平衡点。具体的机型库存、交付周期与价格区间，可通过官方渠道获取方案与报价，并以服务商实时报价为准。

另外，不要忽视"退役节奏"。数据中心卡的驱动与框架支持通常覆盖多个世代，但新特性（如FP4、新互联协议）只在最新一代可用。若业务规划周期超过两年，适当超前一代往往比"刚好够用"更划算。

不确定该选哪一档型号？可通过天下数据官网（www.idcbest.com）获取方案与报价，或提交模型参数与并发目标，由技术团队给出型号对照建议。

本文链接：https://www.idcbest.com/cloundnews/11018867.html