Prometheus Remote Write 扩展：高基数指标下的背压与降本

单个 Prometheus 本地存储适合近端查询，但跨集群长期保存、统一告警和多区域聚合通常需要 Remote Write。真正上线后，问题往往集中在队列积压、网络抖动和标签基数，而不是“能不能发出去”。

发送链路要可恢复

Prometheus 先把样本写入 WAL，再由 remote_write 队列分片批量发送。配置 max_shards、capacity、max_samples_per_send 和 retry_on_http_429 时，要结合接收端吞吐和网络带宽压测，不能只看默认值。

背压要有明确策略

接收端限流或不可用时，发送队列会增长并消耗内存。监控 queue length、samples pending、highest timestamp、重试次数和 WAL replay 时长；接近容量时优先丢弃低价值指标或降低采集频率，确保关键告警链路保留。

治理标签基数

禁止把 request_id、用户 ID、完整 URL 放进指标标签。用路由模板、状态码和有限枚举替代；高维信息留在 trace 或日志。每次服务发布检查新增 series、每小时样本数和存储成本，给团队设置预算阈值。

容量与验收

按写入样本量、压缩率、保留周期和副本数估算接收端容量。故障演练覆盖接收端限流、网络分区、Prometheus 重启和磁盘不足，确认恢复后不会重复告警或无限补发旧数据。

参考资料：Prometheus Remote Write 规范；Remote Write 调优。