AI 模型路由网关：按任务、成本和合规选择模型

当产品同时使用多个模型供应商时，直接在业务代码里写一堆 if else 会让升级、限流和审计变得困难。模型网关应把能力和策略集中管理，业务只提交任务意图与约束。

注册模型能力

模型目录记录上下文上限、工具调用、结构化输出、视觉能力、区域、价格、延迟分位和可用性。每次更新保存生效时间，路由决策可以回放到当时的目录版本。

路由输入

策略读取任务类型、质量门槛、延迟预算、数据等级、租户配额、区域合规和当前队列。简单分类优先低价模型，复杂推理才使用大模型；受限数据只能进入批准的区域和供应商。

故障切换不改变契约

所有模型都返回统一的消息、工具调用、usage 和错误结构。超时、限流和供应商故障按错误类型切换候选模型，结构化输出失败不能直接切到一个不支持 Schema 的模型。

观测和成本

记录路由原因、候选列表、最终模型、token、延迟、重试和质量反馈。按租户与功能统计单位成本，给预算超限设置降级和审批，不让自动切换悄悄扩大账单。

参考资料：OpenAI Evals 指南。