ARTICLE / 2 MIN READ
实时特征平台:把 CDC、在线查询和离线回放接成一条链
设计低延迟特征写入、点时间正确性、回填和线上线下一致性,支撑推荐、风控和营销决策。
推荐和风控常同时需要“过去一小时行为次数”和“过去一年累计金额”。如果线上特征和离线训练各算一套,模型上线后会出现训练服务偏移。特征平台要把定义、计算、存储和回放统一起来。
特征定义先版本化
每个 feature 记录实体键、时间语义、窗口、数据类型、默认值、负责人、敏感级别和版本。定义变更产生新版本,模型绑定具体版本;删除或重算不能悄悄改变历史含义。
CDC 到在线存储
业务库通过 CDC 发送变更事件,流处理按事件时间更新窗口和去重状态,写入带 TTL 的在线 KV。事件要有 event_id、source_lsn、occurred_at 和 schema_version,重复、乱序和迟到数据按规则处理。在线读路径只取模型所需字段,避免一次请求扫描大量特征。
离线回放与点时间正确
训练样本必须只看到预测时刻之前可获得的数据。回放作业根据事件时间重建特征,不能直接读取今天已经聚合好的结果。抽样比较线上实时值和离线重算值,监控 freshness、缺失率、分布漂移和写入延迟。
回填要隔离
历史回填使用独立队列和限速,写入新版本或影子表,完成校验后再切换读指针。回填期间禁止覆盖线上新数据,必要时用 source_lsn 或版本号做最后写入保护。
特征平台的验收指标是训练—服务一致性、数据新鲜度和回填可控,而不是单纯追求更低的 KV 延迟。
GITHUB DISCUSSION
评论与回复
评论保存在 GitHub Discussions,登录 GitHub 后即可参与,发布和回复都在本页完成。
评论区进入视口后自动加载。