AI 用户反馈闭环：把点赞、编辑和申诉变成训练信号

一个点赞不等于回答事实正确，一个踩也不一定代表模型错误。反馈系统要记录用户做了什么、当时看到了什么、是否完成了任务，并把强弱信号分开使用。

反馈分层

显式反馈包括正确、错误、无关、泄露和申诉；隐式反馈包括复制、编辑、重试、继续追问和任务完成。每条反馈关联 response_id、版本、引用和权限范围，不保存超出用途的原文。

标注和抽样

高风险、低置信和高曝光样本优先进入人工队列。标注指南定义事实、引用、安全、风格和完成度，双人冲突进入专家复核。正常样本按意图和租户分层抽样，避免只收集极端案例。

反馈如何进入迭代

错误样本进入回归集，提示词问题进入 prompt 实验，检索问题进入索引评测，产品流程问题进入 UX backlog。未经脱敏和授权的反馈不能直接用于训练或发给第三方模型。

衡量闭环质量

看反馈率、有效反馈率、标注一致性、修复后通过率、重复事件率和处理时长。闭环不是积累更多数据，而是让每条数据都能指向一个可验证的改动。

参考资料：OpenAI Evals 指南。