ARTICLEAI 应用
模型蒸馏落地:把大模型能力迁移到更低成本的服务
设计教师模型标注、软标签、拒答保留、回归评测和灰度路由,降低推理成本而不牺牲安全。
TOPIC
共 5 篇文章
设计教师模型标注、软标签、拒答保留、回归评测和灰度路由,降低推理成本而不牺牲安全。
建立离线数据集、在线反馈、链路追踪和成本指标,持续判断模型、提示词与检索改动是否真的变好。
设计显式反馈、隐式行为、标注队列和隐私边界,让线上反馈可用于评测和产品迭代。
建立提示词版本、变量契约、离线评测、灰度和一键回滚,避免线上偷偷变质。
建立可重复的 RAG 评测集,拆解检索和生成误差,避免只看一个模糊的满意度分数。