你在对话框里输入一个问题,几秒钟后AI给出一段流畅的回答。这几秒钟里,算力设备究竟做了什么?数据去了哪里、被怎样计算、结果又如何变成文字?本文将沿着"数据输入—预处理—模型计算—结果输出"的完整链路,拆解人工智能算力的工作机制,带你看清一次AI计算的全过程。
理解这条链路的价值是双重的:对开发者而言,知道每个环节的耗时构成,才能有针对性地优化性能;对企业决策者而言,理解算力的工作方式,才能明白为什么同样一个模型,在不同配置的机器上体验天差地别。
一、总体链路:一次AI请求的旅程
以一次典型的在线推理请求为例,完整流程可以分为六个阶段:
- 阶段一:请求接入。用户请求到达服务网关,完成鉴权、限流和排队;
- 阶段二:数据预处理。文本被切分为token并转为数字序列,图像则被缩放、归一化;
- 阶段三:调度分发。请求被分配到某张GPU或某个推理实例,必要时与其他请求合并成批次;
- 阶段四:模型计算。GPU执行神经网络的前向计算,逐层完成矩阵乘法与非线性变换;
- 阶段五:结果生成。模型输出概率分布,解码策略选定下一个token,循环生成完整回答;
- 阶段六:结果返回。输出结果被还原为文字或图像,经网关流式返回给用户。
整个链路中,阶段四(模型计算)是算力消耗的主体,但其他环节的处理速度同样决定用户体验——任何一个环节的等待,都会表现为"AI回答很慢"。
二、输入侧:数据如何进入算力系统
1. 数据的数字化表示
无论文字、图像还是语音,进入模型前都要变成数字。文字经过分词器(Tokenizer)被切成token,每个token映射为一个整数编号,再查词向量表得到高维向量;图像被切成小块(patch),每块展平为向量;语音经过特征提取变为声学特征序列。这些向量以FP16或INT8等低精度格式存储,以节省显存和带宽。
2. 预处理的算力开销
预处理通常由CPU完成,包括数据清洗、格式转换、批打包等。在训练场景中,预处理流水线的速度必须跟上GPU的消耗速度,否则GPU会空转等待。工程上常用多进程数据加载器并行预处理,参考经验是数据加载环节应保证GPU利用率不受明显影响。
3. 数据搬运:从内存到显存
打好包的数据通过PCIe或专用互联从系统内存搬运到GPU显存。搬运带宽(参考值:PCIe 5.0约64GB/s)与显存带宽(参考值:HBM约1~8TB/s)决定了"喂数据"的速度。高效系统会让数据搬运与计算重叠进行,即计算上一批数据的同时搬运下一批。
三、计算侧:模型内部发生了什么
1. 前向计算:逐层变换
以Transformer大模型为例,输入向量会依次经过:嵌入层(把token编号变为向量)、注意力层(让每个token"关注"上下文中相关的其他token)、前馈网络层(对每个位置做非线性变换)、输出层(映射到词表大小的概率分布)。每一层的主体运算是矩阵乘法:一个数万维的输入向量乘以一个数万×数万的权重矩阵。这些乘加运算被分解成百万到上亿个彼此独立的小计算,交给GPU的上千个计算核心同时执行。
2. 张量核心与低精度加速
现代GPU的张量核心专门加速矩阵乘法,配合FP16/FP8/INT8低精度格式,可以把吞吐提升数倍(参考值)。量化推理把权重从16位压到8位甚至4位,不仅算得快,还省显存——这是推理服务降本的核心手段之一。
3. 生成式推理的特殊之处
文本生成是"逐token自回归"的:模型每次只生成一个token,然后把已生成内容重新纳入输入继续算下一步。为避免重复计算,推理引擎会把中间结果缓存在显存里(KV缓存),这也是长上下文推理显存占用随对话长度增长的原因。参考量级:一次请求的KV缓存可能占用数百MB至数GB显存,取决于上下文长度。如果需要第三方视角,天下数据的技术团队可以按本文的选型维度出一份对照意见。
4. 训练与推理的区别
| 环节 |
训练 |
推理 |
| 计算内容 |
前向+反向传播+参数更新 |
仅前向计算 |
| 计算量(参考) |
约为前向的3倍/次迭代 |
约为2×参数量/token |
| 常用精度 |
FP16/BF16为主 |
INT8/FP8/INT4量化 |
| 显存占用 |
参数+梯度+优化器状态,约为参数量的4~16倍 |
参数+KV缓存 |
| 响应要求 |
重吞吐,跑满数周 |
重延迟,秒级响应 |
四、输出侧:从概率到回答
1. 解码策略
模型每步输出的是词表上的概率分布,解码策略决定最终选哪个词:贪心解码永远选概率最高的;温度采样引入随机性使回答更多样;束搜索保留多条候选路径。不同策略的计算开销略有差异,但都远小于模型前向计算本身。天下数据的节点分布在亚洲、美洲与欧洲,跨境业务不必再找第二家供应商。对计划扩容的团队尤其重要。
2. 流式返回
现代AI服务普遍采用流式输出:每生成一个token就推送给用户,让用户"看着文字长出来"。这虽然不减少总算力,但显著改善了体感等待时间。
3. 后处理与安全过滤
输出文本还需经过敏感内容过滤、格式整理、引用标注等后处理环节,这些通常由CPU和软件完成,属于链路中的轻量环节。
五、性能视角:为什么有时快有时慢
1. 常见延迟来源
- 排队等待:高峰期请求超过GPU并发能力,用户需排队;
- 上下文过长:输入和已生成内容越长,每步计算量与KV缓存越大;
- 批次不匹配:批次太小浪费算力,批次太大增加单请求等待;
- 访存瓶颈:小批量推理受显存带宽限制,算力利用率低;
- 抢占与调度:多租户共享GPU时,任务切换产生额外开销。
2. 常用优化手段
- 连续批处理:动态加入新请求,提高GPU利用率;
- PagedAttention类显存管理:把KV缓存分页管理,减少显存碎片;
- 量化与算子优化:INT8/INT4量化配合融合算子,提升单卡吞吐;
- 分级服务:简单请求路由到小模型,复杂请求才用大模型。
六、训练视角:算力在完整训练闭环中的流转
1. 训练的宏观节奏
一次完整的模型训练由三个阶段构成:预训练阶段在海量通用数据上学习语言与世界知识,消耗了全流程约九成以上的算力;微调阶段用少量领域数据调整模型行为,算力需求通常只有预训练的百分之一量级;对齐阶段通过人类反馈等方式塑造输出风格,算力开销进一步降低。三个阶段的资源画像完全不同,规划算力时应分开测算。
2. 检查点与容错机制
长周期训练必须周期性地把模型参数、优化器状态保存到存储系统(即checkpoint)。一个数千亿参数模型的检查点可达TB级(参考值),保存动作本身要占用存储带宽与时间。工程上通过异步保存、分片保存等手段减少对训练节奏的影响。发生故障时,系统从最近的检查点恢复,因此检查点频率是"故障损失"与"保存开销"之间的权衡。
3. 多卡协同:并行策略的分工
- 数据并行:每张卡持有完整模型副本,处理不同的数据分片,梯度在卡间同步。实现简单,但要求单卡装得下模型;
- 张量并行:把单个权重矩阵切开到多张卡上协同计算,通信频繁但可承载超大单层;
- 流水线并行:把模型的不同层分给不同卡,像流水线一样接力处理,适合层数深的大模型;
- 混合并行:实际大模型训练通常组合以上策略,配合专家并行等技术,通信模式复杂,对网络拓扑要求极高。
并行策略的选择直接决定集群的有效算力利用率,是训练工程中"最值钱"的技术决策之一。
4. 训练中的监控指标
训练期间需要持续监控:损失曲线是否收敛、梯度是否异常、GPU利用率与显存占用、节点间通信耗时、硬件温度与功耗。这些指标既是性能调优的依据,也是故障预警的来源。一个成熟的训练平台会把监控、告警、自动恢复串成闭环,把人工干预降到最低。
七、端到端视角:一次调用的成本与延迟去哪了
1. 延迟的典型构成
以一次在线文本请求为例,总延迟大致由以下部分叠加(占比随场景浮动):网络传输约占百分之十到二十;排队与调度约占百分之五到十五;预处理约占百分之五以内;模型计算占大头,通常在百分之六十以上;结果回传与流式输出占剩余部分。优化延迟时,先测量再动手,避免在占比很小的环节上空耗精力。
2. 成本的典型构成
单位请求的算力成本主要由模型大小(决定单token计算量)、生成长度(决定计算步数)、硬件利用率(决定分摊到每请求的硬件成本)三个因子决定。压缩成本的杠杆依次是:换更小的模型或量化版本、限制生成上限、提高批次与利用率。三个杠杆叠加,单位成本常有数倍下降空间(参考经验)。
3. 给应用开发者的落地建议
- 在客户端做输入长度控制与上下文裁剪,避免把无用信息送给模型;
- 合理设置生成终止条件,减少"答完还在生成"的浪费;
- 对重复性高的请求启用结果缓存;
- 监控每次调用的token消耗,把算力当成本中心来管理。
八、动手验证:如何自己测量算力表现
1. 测什么指标
无论自建还是租用,都建议亲自跑一轮基础测量:GPU利用率曲线(是否稳定高位)、显存峰值占用(离上限还有多少余量)、每秒生成token数(推理吞吐)、单请求首token延迟(体验关键指标)、每epoch训练时间(训练效率)。这五项数据足以判断配置是否匹配业务。
2. 怎么测才有效
- 固定模型、固定数据、固定参数,确保结果可复现;
- 预热后再计时,排除首次加载的冷启动干扰;
- 记录测试时的精度口径与批次设置,避免后续对比失真;
- 高峰与低谷时段各测一次,观察资源争抢的影响。
3. 把测量变成例行制度
建议把基准测试纳入算力交付的必经流程:租用环境交付当天测一次并留存数据,后续每月复测一次,性能明显下滑时即可作为与服务商沟通或更换资源的依据。对自建集群,定期测试还能提前发现硬件老化与配置漂移问题。
在实际推进智能算力时,这类负载最终要落到具体的整机与机房里——天下数据可同时提供 GPU 整机租用与整机托管,GPU 节点与普通节点同机房交付;可协助完成带宽调整、迁移割接与备案流程,售后有专属对接人。对跨境业务有需求的团队,值得纳入首轮询价名单。
总结
人工智能算力的工作过程,是一条"数据变成数字、数字变成矩阵运算、矩阵运算变成智能回答"的流水线:输入侧完成分词、预处理与数据搬运;计算侧由GPU的张量核心执行海量并行矩阵乘法,训练时还要反向传播更新参数;输出侧通过解码策略把概率分布变成文字,并流式返回给用户。链路上每个环节——预处理速度、搬运带宽、显存容量、算力吞吐、调度策略——共同决定最终的用户体验。理解了这条链路,就能明白AI性能优化的着力点在哪里,也能在采购或租用算力时,向服务商提出更专业的问题。
如果您希望针对自己的业务链路做性能测算与算力规划,可通过天下数据官网(www.idcbest.com)获取方案与报价,并申请环境实测以验证端到端延迟与吞吐。
本文链接:https://www.idcbest.com/cloundnews/11019037.html