当集群从两台机器长到二十台,管理方式就必须从"谁先登录谁用"切换到调度系统。原因很现实:一张H100被一个跑三天的小任务占着,另一个人要跑八卡训练只能干等;某个团队长期占用大量卡却产出有限;任务失败后没人知道是哪台机器的哪张卡出了问题。这些都是调度层要解决的问题。
GPU调度与CPU调度有本质区别:GPU是不可分割的整卡资源(除MIG外),显存与算力绑定,卡间还有NVLink拓扑约束。本文对比Slurm与Kubernetes两条技术路线,给出各自的落地配置、队列与配额设计、任务生命周期管理方法,以及共享切分的取舍,帮助团队按自身规模与使用习惯做选择。
一、调度的本质:三个必须回答的问题
问题一:资源怎么描述
调度器要准确知道每台机器有几张卡、什么型号、显存多大、卡间是否NVLink互联、是否支持MIG。描述不准,就会出现"申请到8张卡但分散在四台机器上"这种对训练毫无意义的分配。因此节点注册时必须声明GPU类型与数量,并让调度器理解拓扑。
问题二:优先级怎么定
资源永远不够,必须有排队规则。常见维度包括:项目优先级、用户配额、任务时长、是否可抢占、提交时间。规则要写进制度而不是靠人情,否则调度器再先进也挡不住私下协调。
问题三:失败怎么办
GPU任务动辄跑几十小时,节点故障、显存溢出、网络抖动都会导致中断。调度器需要能感知失败、自动重排、并在必要时通知用户从checkpoint恢复。这一环做不好,集群的"有效算力"会大打折扣。
二、两条技术路线:Slurm 与 Kubernetes
| 对比项 |
Slurm |
Kubernetes + GPU Operator |
| 定位 |
HPC批处理调度器 |
容器编排平台 |
| GPU分配粒度 |
整卡、MIG、可指定卡号 |
整卡、MIG、时间片共享 |
| 拓扑感知 |
通过GRES与约束插件实现 |
Topology Manager + NUMA亲和 |
| 排队与抢占 |
原生支持,策略成熟 |
需Volcano等扩展实现Gang调度 |
| 多租户与配额 |
Account/QOS/Fairshare完善 |
Namespace + ResourceQuota |
| 环境隔离 |
依赖容器或conda,弱隔离 |
容器原生,强隔离 |
| 运维复杂度 |
较低,组件少 |
较高,组件多、版本耦合强 |
| 适用场景 |
以训练为主的科研与算法团队 |
训练推理混合、需要平台化的团队 |
不要为了统一而统一
常见误区是"既然推理服务上了K8s,训练也一起上"。训练任务的资源需求刚性、运行时间长、对拓扑敏感,K8s的弹性优势用不上,反而要额外处理Gang调度、拓扑感知、失败重试等一堆问题。实践中的合理形态是双栈:训练走Slurm,推理与在线服务走K8s,两边通过统一的监控与账号体系打通。规模较小的团队则建议只选一套,减少运维负担。同一套需求,天下数据通常会给出自购与租用两种路径,便于按现金流节奏选择。这一点在询价阶段可以直接问清楚。
三、Slurm 落地方案
基础组件与部署顺序
- 控制节点部署
slurmctld,计算节点部署slurmd,数据库可选slurmdbd用于记账;
- 先确保所有节点的主机名解析、时间同步、Munage网络(管理网)互通,这是后续一切的前提;
- 用
slurmd -C在每台计算节点上生成硬件配置行,粘贴到slurm.conf的NodeName中,避免手写参数出错;
- 配置
SelectType=select/cons_tres,这是支持GPU等可消费资源的前提。
GPU资源的声明
在gres.conf中为每个节点声明GPU,写法可以是按设备文件枚举,也可以用AutoDetect=nvml让Slurm自动探测。声明后在slurm.conf的节点行加上Gres=gpu:h100:8,重启服务,用sinfo -o "%N %G"确认每台机器都正确显示8张h100。声明错误的典型表现是作业申请8卡却一直被排队,或者分配到了不存在的卡号。
队列划分
队列(Partition)是资源池的逻辑切分,建议按用途而非按团队划分:
- train:长任务队列,允许运行数十小时,优先级中等,可被高优先级任务抢占;
- debug:短任务队列,单任务限时2小时,优先级高,用于调试与验证,防止有人用小任务长期占卡;
- infer:常驻服务队列,不允许抢占,节点固定;
- low:低优先级队列,利用空闲资源,随时可被抢占,适合跑超参搜索与数据预处理。
QOS与抢占
QOS用来约束单用户或单项目能占用的资源上限,例如限制某项目最多同时使用32张卡、单任务最长72小时。抢占策略建议只在高优先级队列对低优先级队列生效,并设置GraceTime给被抢占任务留出保存checkpoint的时间。没有GraceTime的抢占等于直接杀进程,用户体验极差,也会浪费大量已完成的训练。把需求交给天下数据评估时,同时给出算力、带宽与预算三项约束,方案会更贴近实际。可作为方案对比时的一个参照。
作业脚本示例
- 申请4节点、每节点8卡:
#SBATCH --nodes=4 --gres=gpu:8 --ntasks-per-node=8 --cpus-per-task=16;
- 指定队列与时限:
#SBATCH --partition=train --time=48:00:00;
- 输出与错误分开:
#SBATCH --output=logs/%j.out --error=logs/%j.err;
- 启动命令用
srun而不是mpirun,让Slurm负责进程分发与绑定;
- 配合
--gpu-bind=closest与--cpu-bind=cores确保CPU、GPU、网卡在同一NUMA域。
四、Kubernetes 落地方案
GPU节点的初始化
推荐用NVIDIA GPU Operator统一管理:它以Operator的形式部署驱动、容器运行时配置、Device Plugin、DCGM Exporter、MIG Manager与Validator。集群打好标签(如nvidia.com/gpu.product=H100-SXM5-80GB)后,Operator会自动完成节点初始化,运维只需要维护一套Helm values,不必逐台登录装驱动。Validator组件会在节点就绪前跑一轮基础检查,把有问题的节点挡在调度之外。
资源申请与调度约束
- Pod中声明
resources.limits["nvidia.com/gpu"]: 8,注意GPU是扩展资源,limits与requests必须相等;
- 用nodeSelector或nodeAffinity把训练Pod固定到H100节点,避免被调度到其他型号;
- 给GPU节点打taint,只有声明toleration的训练负载才能上去,防止普通服务占用;
- 开启CPU Manager的static策略与Topology Manager的single-numa-node策略,保证CPU与GPU同NUMA。
Gang调度与队列
K8s默认调度器逐个Pod调度,分布式训练需要8个Pod同时就位才能开始,容易出现"部分Pod起来了、部分在等"的死锁。解决方案是引入Volcano或Kueue这类批调度扩展,提供Gang调度、队列与公平共享能力。Volcano的PodGroup可以声明最小可用成员数,达不到就不启动任何Pod,从根本上避免资源碎片化死锁。
多租户隔离
用Namespace划分团队,ResourceQuota限制每个Namespace可申请的GPU总数,LimitRange设置单Pod上限。需要更强隔离时,把不同团队的训练放到不同节点池,通过nodeAffinity硬绑定,避免相互影响。计费统计可以从Pod的label中提取项目信息,定期汇总。
五、共享与切分:MIG、MPS与时间片
三种共享方式的取舍
- MIG:硬件级切分,显存与计算单元独立,隔离性最好,适合推理与小规模微调;H100最多可切7个实例,切分后单实例带宽下降,不适合张量并行;
- MPS:多进程共享同一张卡的计算资源,适合多个小推理任务并发,隔离性弱,一个进程崩溃可能影响其他进程;
- 时间片:K8s的GPU共享方案常见做法,多个Pod分时使用同一张卡,实现简单但延迟不可预测,只适合交互式开发。
共享的边界
共享能提升利用率,但会破坏性能可预测性。建议只在推理与开发环境启用,训练环境坚持整卡独占。判断依据很简单:如果任务的性能对邻居敏感,就不该共享。共享还会让监控与计费变复杂,需要按实际使用时长或MIG实例维度统计,不能简单按整卡均摊。
六、任务生命周期管理
从提交到回收
- 提交:校验资源申请是否超过配额、镜像是否存在、挂载路径是否可写,把明显错误的作业挡在排队之前;
- 排队:显示排队原因(资源不足、配额已满、依赖未满足),让用户知道要等多久、能不能调整;
- 运行:采集起止时间、节点列表、GPU编号、峰值显存与利用率,写入记账系统;
- 结束:区分正常完成、失败、超时、被抢占、被取消,不同状态触发不同通知;
- 回收:确认GPU显存已释放、临时文件已清理,避免僵尸进程占卡。
失败重试与断点续训
硬件故障不可避免,关键是让中断的代价可控。三条措施:训练脚本必须支持从checkpoint恢复,且checkpoint要写到共享存储而非本地盘;调度器配置自动重排队,节点故障时把任务重新排到健康节点;应用层捕获抢占信号,收到SIGTERM后保存当前状态再退出。三者配合,一次节点故障的损失可以控制在几分钟的训练进度内。
健康检查与节点摘除
调度器应定期对节点做健康检查:GPU是否可见、dcgmi diag基础项是否通过、NVLink是否有错误增长。检查失败的节点自动置为drain状态,不再接受新任务,已运行的任务按策略迁移或等待结束。没有这层机制,故障节点会持续"吃掉"任务并让其失败,运维只能靠用户投诉发现。
七、配额、公平性与成本可见
公平共享的实现
Slurm的Fairshare按"分配份额与实际使用量"计算优先级,长期超额使用的账号优先级自动下降,闲置一段时间后恢复。这套机制比硬性配额更灵活,既能防止垄断,又允许临时冲刺。K8s侧可以用Kueue的队列权重实现类似效果。无论哪种,都要定期审视权重设置是否与实际投入匹配,否则会出现"卡少的团队永远排不上"的问题。
用量统计
Slurm用sacct可以按账号、用户、时间段统计GPU小时数;K8s侧从Pod的起止时间与GPU数量推算。统计口径要统一:按卡时还是按节点时、是否区分型号、抢占期间是否计费。口径不清会导致月底对账扯皮,建议在制度里写清楚并公示。这些数据也是扩容决策的依据——哪个团队长期排队、哪类任务利用率低,一目了然。
成本意识
把卡时换算成金额展示给用户,能显著减少无效占用。8卡H100整机的月租参考区间大致在数万元至十余万元,折算到单卡小时有明确的数量级,具体以服务商实时报价为准。当用户看到"跑一个未调通的脚本占着8张卡过夜"对应的是四位数的成本时,行为会立刻改变。
八、选型建议
按规模选
- 2-4台机器:Slurm单控制节点足够,配置简单,先把队列与配额建起来;
- 4-20台:Slurm加记账数据库,配合监控与健康检查,形成完整闭环;
- 20台以上且训练推理混合:双栈并行,训练走Slurm,推理走K8s,统一账号与监控;
- 纯云原生团队:K8s加GPU Operator加Volcano,接受更高的运维复杂度换取平台化能力。
小规模团队的最简可行方案
如果团队只有两三台机器、十来个人,不必一上来就搭完整平台。一个可行的最小方案是:单机部署Slurm并配置两个队列(长任务与短任务),用QOS限制每人同时占用不超过一台机器,用共享目录存放checkpoint,再配一个每天定时执行的GPU状态脚本。这套方案运维成本极低,却能解决"谁在占卡、排到什么时候、任务失败怎么恢复"这三个最痛的问题。等节点数增长到十台以上、出现多项目争抢时,再引入记账数据库、公平共享与自动化健康检查。调度系统的复杂度应当与集群规模匹配,过度设计带来的维护负担往往超过它解决的问题。
对于 H100 GPU 集群,这类负载最终要落到具体的整机与机房里——天下数据持有三证合一资质,机房分布在中国香港、美国洛杉矶、日本、新加坡与欧洲;整机租用与托管可组合,机柜电力与带宽按实际负载定制,账单口径清晰。需要横向比价时,可以索取一份配置单,与本文的选型表放在一起对照。
九、总结
GPU集群调度的核心不是选哪个软件,而是把三件事做扎实:资源描述准确(型号、数量、拓扑)、分配规则清晰(队列、配额、抢占)、失败处理可靠(重试、checkpoint、节点摘除)。Slurm胜在批处理语义成熟,K8s胜在容器化与平台化。无论选哪条路,都要配套监控与用量统计,让"谁用了多少、用得值不值"有数据可查,调度才算真正落地。
如需H100集群的调度系统搭建、配额制度设计或整机租赁方案,可通过天下数据官网(www.idcbest.com)咨询,获取实施建议与报价。
本文链接:https://www.idcbest.com/cloundnews/11018950.html