AI FinOps：用 GPU 利用率和 Token 成本管理模型服务

模型服务的成本不只来自 GPU 小时数，还包括空转、显存碎片、重复请求、长上下文和低效路由。单看账单无法判断用户体验和成本谁在牺牲，需要按请求建立成本模型。

成本分摊到请求

记录 model、provider、input_tokens、output_tokens、batch_size、GPU_seconds、cache_hit、tenant 和业务场景。按租户、功能和模型计算单位请求成本，并把共享 GPU、网络和存储按明确规则分摊。

用路由匹配质量需求

简单分类、摘要和格式化任务优先使用小模型或缓存；复杂推理才路由到大模型。路由策略同时检查质量阈值、延迟预算、区域合规和当前配额，不能只按最低单价选模型。

GPU 侧看利用率和队列

监控 SM 利用率、显存占用、KV cache 命中、队列等待、首 token 延迟和每秒 token。动态批处理提高吞吐，但会增加等待；设置最大 batch 等待时间，按交互与离线任务分队列，避免离线作业挤占在线请求。

预算护栏和异常处理

租户设置日/月预算、速率和最大上下文长度；超过预算时降级模型、关闭非关键功能或进入审批。成本异常告警要能关联到 prompt 版本、流量来源和缓存命中变化，发现重复调用后才能真正修复。

AI FinOps 的目标不是把所有请求压到最便宜的模型，而是在质量、延迟和预算之间建立可解释的路由与回滚机制。

参考资料：GitHub Octoverse 2024：生成式 AI 生态趋势。