ARTICLEAgent 架构
高并发下的成本与延迟博弈:模型路由与多级缓存
大促把客服 Agent 的 QPS 从 50 顶到 5000,全调大模型烧钱、全调小模型答错。用网关层毫秒级路由、语义缓存和降级兜底链,在成本、延迟和正确率之间找平衡。
TOPIC
共 11 篇文章
大促把客服 Agent 的 QPS 从 50 顶到 5000,全调大模型烧钱、全调小模型答错。用网关层毫秒级路由、语义缓存和降级兜底链,在成本、延迟和正确率之间找平衡。
用容量模型、流量分层和故障边界拆解一个业务如何从单体应用平稳走向高并发架构。
用 Little 定律和分层容量表,把“系统能扛多少流量”变成可以验证的数字。
通过缓存穿透、击穿、雪崩和热点 Key 的实战策略,建立可恢复的缓存层。
以订单接口为例,梳理 Redis 分布式锁、滑动窗口限流、幂等键和延迟任务的边界。
从慢查询和连接耗尽出发,给出关系型数据库逐级扩展的判断标准与迁移步骤。
以订单通知和库存同步为例,说明分区、确认、重试、死信与重复消费应该如何组合。
从预热、限流、库存扣减到异步下单,拆解高峰抢购链路的关键状态和一致性边界。
用稳定性预算设计超时、重试、熔断、舱壁和降级,避免级联故障。
用状态机、Outbox 和补偿任务处理跨服务写入,避免把分布式事务变成不可调试的黑盒。
从连接复用、鉴权缓存、限流和路由灰度出发,搭建承接流量的第一道稳定边界。