高并发下的成本与延迟博弈：模型路由与多级缓存

大促把客服 Agent 的 QPS 从 50 顶到 5000，全调大模型烧钱、全调小模型答错。用网关层毫秒级路由、语义缓存和降级兜底链，在成本、延迟和正确率之间找平衡。